在强化学习 (RL) 中，优势函数量化了特定动作相对于给定状态下的平均动作有多好。 它定义为动作值函数 ( Q(s, a) )（在状态 ( s ) 中执行动作 ( a ) 的预期回报）与状态值函数 ( V(s) )（从状态 ( s ) 中获得的平均预期回报）之间的差：( A(s, a) = Q(s, a) - V(s) )。 这种减法隔离了选择动作 ( a ) 相对于 ( V(s) ) 代表的“默认”行为的增量收益。 例如，如果 ( Q(s, a) = 10 ) 且 ( V(s) = 7 )，则优势 ( A(s, a) = 3 ) 表明动作 ( a ) 比 ( s ) 中的平均动作好 3 个单位。
优势函数的主要好处在于减少策略更新期间的方差。 在策略梯度方法中，更新取决于动作的估计回报。 使用原始回报（例如，( Q(s, a) )）会导致高方差，因为回报会根据环境随机性而波动。 通过减去 ( V(s) )，优势函数将更新的比例围绕零居中，从而强调优于基线 ( V(s) ) 的动作。 例如，在智能体导航迷宫的游戏中，( V(s) ) 可能会估计从走廊退出的平均时间，而 ( A(s, a) ) 会突出显示向左或向右转是否会缩短该时间。 这种居中稳定了训练，使策略能够专注于有意义的动作差异，而不是绝对奖励。
实际实现通常使用时序差分 (TD) 误差或广义优势估计 (GAE) 来估计优势函数。 例如，在 A3C 算法中，神经网络预测 ( V(s) )，并且优势计算为奖励的折扣总和减去 ( V(s) )。 GAE 结合了多步 TD 误差以平衡偏差和方差。 在机器人控制任务中，如果移动关节产生的奖励高于 ( V(s) ) 的预测，则该动作的优势变为正，从而增强了策略以更频繁地选择它。 通过将特定于动作的收益与状态值分离，优势函数可以实现更清晰的信用分配，使其成为 PPO 和 TRPO 等现代 RL 算法的基石。