策略正则化是强化学习 (RL) 中使用的一种技术，用于防止智能体的决策策略（即“策略”）变得过于僵化或过度拟合特定场景。 它通过向学习过程添加约束或惩罚来实现，从而鼓励策略更好地泛化到不同的情况。 例如，在近端策略优化 (PPO) 等算法中，正则化可能涉及阻止策略的大幅更新或惩罚动作选择中的低熵（不确定性）。 这有助于平衡智能体对利用已知有效动作和探索新可能性的关注，这对于稳健的性能至关重要。
需要策略正则化的原因是，RL 智能体通常会针对立即奖励进行优化，这可能会导致不稳定或脆弱的行为。 如果没有正则化，策略可能会过度拟合训练环境的怪癖，例如利用仅在狭窄条件下才起作用的特定动作序列。 例如，在具有完全可预测物理特性的模拟环境中训练的智能体可能会在存在噪声和可变性的现实世界中失败。 诸如熵奖励（鼓励策略保持不同的动作概率）或权重衰减（限制神经网络参数的大小）之类的正则化方法通过促进更简单、更适应性强的策略来缓解这种情况。 这类似于 L1/L2 正则化如何防止监督学习模型中的过度拟合。
实施策略正则化通常涉及修改训练期间使用的损失函数。 例如，在 PPO 中，损失函数将策略梯度目标与熵项和大策略更新的惩罚结合在一起。 开发人员可能会添加熵系数（例如，PPO 中的 beta=0.01）来控制熵奖励的强度。 从代码上看，这可能类似于 loss = policy_loss - beta * entropy + L2_penalty，其中 L2_penalty 阻止神经网络中的大权重。 这些系数的实际调整至关重要——过多的正则化会扼杀学习，而过少会导致不稳定。 像 TensorFlow 或 PyTorch 这样的框架通过允许开发人员直接将这些项合并到他们的优化循环中来简化这一点，从而使策略正则化即使在复杂的 RL 设置中也可以访问。