近端策略优化（PPO）是一种强化学习算法，旨在通过优化智能体的策略（他们用来做决策的策略）来训练智能体。与策略变化过于剧烈时可能变得不稳定的早期方法不同，PPO 限制了策略更新的幅度，以确保稳步改进。它通过使用一个裁剪的目标函数来实现这一点，该函数可以防止新策略偏离旧版本太远。例如，如果一个智能体学会了平衡购物车上的杆子，PPO 可以确保每次更新都不会彻底改变平衡策略，从而避免因过于激进的变化而导致的突然失败。
PPO 的核心机制包括计算新策略的动作概率与旧策略概率的比率。该比率乘以优势估计（衡量某个动作比平均水平好多少的指标），从而形成目标。然而，PPO 将此比率裁剪在一个较窄的范围内，例如 [0.8, 1.2]，以限制策略的更改。如果该比率超过这些限制，则该算法会使用裁剪后的值来代替，从而有效地忽略那些会将策略推得太远的更新。例如，在精确运动至关重要的机器人任务中，裁剪可以防止策略突然偏向可能破坏系统稳定的极端运动。此外，PPO 使用数据的小批量在多个周期内优化此裁剪后的目标，从而有效地重用收集到的经验，而不会导致破坏性的更新。
PPO 很受欢迎，因为它平衡了性能和简单性。与需要复杂优化技术的信赖域策略优化（TRPO）不同，PPO 可以使用标准梯度下降来实现。开发人员通常会将其与估计预期奖励的价值网络配对，从而可以进行优势计算。PPO 还包含熵正则化以鼓励探索，防止策略变得过于确定。例如，在训练游戏 AI 时，熵确保智能体会偶尔尝试非常规的移动，从而避免局部最优。这些功能使 PPO 能够广泛应用于机器人控制、游戏 AI 或模拟训练等任务，在这些任务中，可靠性和易于实现至关重要。它的适应性和鲁棒性解释了其在研究和行业应用中的广泛采用。