信任区域策略优化 (TRPO) 是一种强化学习算法，旨在优化策略（即决定智能体在环境中如何行动的策略），同时确保稳定和一致的更新。与可能因过度更新而破坏训练的简单策略梯度方法不同，TRPO 约束策略更改以使其保持在“信任区域”内。该区域由新策略与旧策略之间的差异程度的数学限制来定义，从而防止可能损害性能的剧烈更新。 TRPO 在复杂的环境中特别有用，例如机器人或游戏，在这些环境中，渐进式、受控的策略调整对于可靠的学习至关重要。
TRPO 的核心机制依赖于 Kullback-Leibler (KL) 散度，这是一种衡量两个概率分布之间差异的指标。 TRPO 将策略更新公式化为一个约束优化问题：最大化预期奖励的改进，同时保持新旧策略之间的 KL 散度低于阈值。为了有效地解决这个问题，TRPO 使用代理目标函数来近似该问题，该函数估计奖励的改进，而无需进行详尽的采样。优化通常使用共轭梯度下降执行，然后进行线搜索以找到满足 KL 约束的最大步长。例如，在训练机器人行走时，TRPO 会计算最佳策略更新方向（通过梯度下降），然后对其进行缩放，以确保机器人的步态不会变化太突然，从而避免跌倒或不稳定的移动。
实施 TRPO 涉及权衡。虽然其约束方法提高了稳定性，但计算 KL 散度和解决优化的计算成本可能很高，尤其是对于大型神经网络而言。开发人员通常使用近似，例如从采样数据估计 KL 散度或限制共轭梯度迭代的次数。与后来的方法（如近端策略优化 (PPO)，它使用启发式剪裁简化约束）相比，TRPO 严格的数学基础使其更加可靠，但也更难调整。例如，在游戏智能体中，TRPO 可能需要仔细调整超参数（例如，KL 阈值）以平衡训练速度和稳定性。尽管 TRPO 比较复杂，但它仍然是策略更新的精确控制至关重要的场景的基础算法。