强化学习（RL）中的基于策略方法是直接学习一个策略（即选择行动的策略）的算法，而不依赖于中间价值函数。与基于价值的方法不同，基于价值的方法通过估计状态或行动的预期奖励并从这些估计中推导出策略，而基于策略的方法则直接优化策略本身。这些方法通常使用一个函数（如神经网络）来参数化策略，并调整其参数以最大化预期的累积奖励。例如，如果一个智能体学习玩游戏，策略可能将游戏状态映射到采取特定行动的概率，这些概率会随着时间更新，以偏好那些能带来更高奖励的行动。
基于策略方法的一个关键优势是它们能够处理连续的行动空间和随机策略。例如，在机器人领域，行动可能涉及精确的电机控制（如扭矩值），基于策略方法可以直接输出连续行动。REINFORCE 或 近端策略优化（PPO）等算法就是例子。REINFORCE 使用梯度上升根据采样轨迹的奖励来调整策略参数，而 PPO 引入约束以确保策略更新保持在安全范围内，从而提高稳定性。这些方法通常默认采用探索策略，因为策略的随机性鼓励尝试不同的行动，这在最优策略不明显的环境中很有用。
然而，基于策略方法可能面临更新方差较高的问题，导致收敛速度较慢。通常会采用熵正则化（以鼓励探索）或优势函数估计（以减少方差）等技术来解决这个问题。它们在精确价值估计困难的复杂环境中尤其有用，例如训练机械臂或玩高维状态空间的游戏。与 Q-learning 等基于价值的方法相比，基于策略的方法牺牲了样本效率，换取了行动选择的灵活性，这使得它们成为需要细致控制的实际应用中的热门选择。