REINFORCE 是一种策略梯度算法，用于强化学习中，通过直接调整其策略参数来优化代理的行为。 与侧重于估计动作或状态价值的基于价值的方法不同，REINFORCE 通过遵循预期奖励的梯度来更新策略（代理用于选择动作的策略）。 它是无模型的，这意味着它不需要事先了解环境动态，并且在具有连续动作空间的环境中效果良好，而传统的 Q 学习方法可能难以胜任。 该算法是理解策略梯度如何运作的基础，并且是更高级技术的基础。
REINFORCE 的核心思想包括计算策略的性能相对于其参数的梯度。 对于代理采取的每个动作，该算法计算当前策略下该动作的对数概率的梯度，将其乘以收到的奖励，并沿增加高回报动作可能性的方向调整策略参数。 例如，如果机器人学习导航迷宫，则通过基于累积奖励缩放其概率来加强导致更快到达目标的动作。 REINFORCE 使用蒙特卡罗抽样，这意味着它会等到剧集结束时才使用该剧集的总奖励来更新策略。 为了减少更新中的方差，通常从总奖励中减去基线（例如平均奖励），这有助于稳定训练而不会引入偏差。
虽然 REINFORCE 在概念上很简单，但它具有实际的局限性。 它对完整剧集轨迹的依赖会导致梯度估计中的高方差，从而导致训练缓慢或不稳定。 开发人员通常通过将其与神经网络等技术结合以进行函数逼近或使用 Adam 等高级优化器来解决此问题。 例如，训练游戏中角色执行复杂动作可能需要数千个剧集，并仔细调整学习率。 尽管存在这些挑战，但 REINFORCE 对于原型设计和难以进行精确价值估计的场景仍然有用。 它也是Actor-Critic方法等更复杂算法的垫脚石，后者将策略梯度与价值函数估计相结合以获得更好的性能。