基线函数通过提供一个参考点来比较训练期间收到的实际奖励，从而减少策略梯度方法中的方差。在 REINFORCE 等策略梯度算法中，梯度估计依赖于从轨迹中采样的奖励，由于随机环境或策略行为，这些奖励可能差异很大。这些估计中的高方差会导致更新不稳定，从而减缓学习速度。基线从观察到的奖励中减去一个学习到的或固定的值（通常是状态的预期奖励），从而创建一个“中心化”信号，突出显示操作的执行优于还是劣于预期。这种调整减少了梯度更新中波动的幅度，同时保留了它们的方向，使训练更加稳定。
一个常见的例子是使用状态值函数作为基线。例如，在 Advantage Actor-Critic (A2C) 算法中，critic 网络估计状态的值 ( V(s) )，它代表从该状态获得的平均预期回报。优势——计算为实际回报 ( G_t ) 减去 ( V(s) )——衡量一个动作比基线好或差多少。由于 ( V(s) ) 考虑了状态的固有价值，因此优势 ( (G_t - V(s)) ) 比单独的 ( G_t ) 具有更低的方差。这是因为基线与状态相关：它适应不同状态的不同期望，这与全局平均值不同。另一个例子是带有简单移动平均基线的 REINFORCE，其中基线是最近 episodes 中的平均奖励。虽然不太复杂，但它仍然通过标准化更新的规模来减少方差。
实施基线需要平衡计算成本和有效性。例如，学习到的状态值基线（如 A2C 中）通过需要单独的神经网络来估计 ( V(s) ) 来增加复杂性，但它提供了精确的、自适应的方差减少。相比之下，固定基线（例如，运行平均值）更简单，但在状态具有截然不同的奖励潜力的环境中效果较差。至关重要的是，基线不得依赖于当前操作，以避免引入偏差。通过将梯度更新集中在奖励的“意外”组成部分（即，与基线的偏差）上，策略可以更快地学习，并且参数变化更少。这一原则是许多现代算法的基础，使基线成为提高策略梯度效率的基础工具。