强化学习 (RL) 中的方差缩减技术是为了通过最小化价值函数、策略梯度或预期回报估计中的波动来稳定训练而设计的方法。这些估计中的高方差可能导致学习不稳定、收敛缓慢或策略性能不佳。这些技术旨在在保持学习更新准确性的同时，减少由采样动作、环境随机性或稀疏奖励带来的“噪声”。通过平滑这些变化，算法可以更高效、更可靠地进行学习。
一种常见的方法是使用 基线（baselines）和 优势函数（advantage functions）。在像 REINFORCE 这样的策略梯度方法中，梯度更新依赖于回报的蒙特卡洛估计，由于随机轨迹，这可能导致高方差。从观测到的回报中减去一个基线（例如，某个状态的平均预期回报）可以在不引入偏差的情况下减少方差。例如，优势函数（在 A3C 或 PPO 等算法中使用）计算动作价值 (Q) 和状态价值 (V) 函数之间的差异，有效地衡量某个动作比平均水平好多少。另一种技术是 Actor-Critic 架构，其中 Critic 网络估计 V(s) 或 Q(s,a)，为 Actor 的策略更新提供比纯蒙特卡洛采样更低方差的目标。控制变量（如 Q-Prop 中使用的）也将解析梯度与采样数据结合起来以减少方差。
虽然这些技术提高了稳定性，但它们通常涉及权衡。例如，使用学习到的基线需要维护一个价值函数估计器，增加了计算复杂性。优势函数依赖于准确的 V(s) 估计，这在早期训练中可能具有挑战性。如果 Critic 的近似效果不好，Actor-Critic 方法会引入偏差。开发者必须根据问题的规模、奖励结构和计算约束来选择技术。例如，在奖励稀疏的环境中（如机器人），可能需要将优势归一化与奖励整形（reward shaping）相结合。理解这些权衡有助于在方差缩减和实际实现成本之间取得平衡。