近端策略优化 (PPO) 是一种强化学习算法，旨在平衡易于实现与稳定性能。它属于策略梯度算法族，通过估计期望奖励的梯度来直接优化策略（智能体的行为）。与早期使用复杂约束的方法（如信赖域策略优化 (TRPO)）不同，PPO 通过使用裁剪目标函数限制策略更新来简化训练。其核心思想是通过确保新策略与旧策略保持“近端”（接近）来防止更新过程中策略发生大的、不稳定的变化。这是通过修改目标函数来实现的，该函数会惩罚那些会导致策略与其先前版本偏离太远的更新。
PPO 的工作原理是：通过与环境交互迭代收集数据，并利用这些数据更新策略。每个更新步骤涉及两个关键组成部分：裁剪代理目标和优势估计。裁剪目标比较新策略与旧策略的行动概率，计算这些概率的比率。如果此比率超出预定义范围（例如 0.8 到 1.2），则对目标函数进行裁剪以限制梯度步长。例如，如果该比率表明采取某个良好行动的可能性增加 50%，PPO 可能会将此比率上限设定为 20%，以避免单次更新过度。优势估计计算某个行动相对于平均水平好多少，使用广义优势估计 (GAE) 等方法来计算，以减少更新中的方差。
在实践中，PPO 使用 actor-critic 架构实现。actor（策略）选择行动，而 critic（价值函数）估计状态价值以计算优势。开发者通常在同一数据集上使用多个 epoch 的 minibatch 更新来提高样本效率。例如，在收集 1000 个时间步长的数据后，PPO 可能会对小批量数据（例如 64 个样本）进行 4-5 次遍历来更新策略。常见的超参数包括裁剪阈值 (ε) 0.1-0.3、学习率 3e-4 和折扣因子 (γ) 0.99。PPO 的优势在于其简单性：裁剪机制避免了复杂的约束，并且使用多个 epoch 使其数据高效。这使得它成为从机器人控制到游戏 AI 等任务的流行选择，在这些任务中，稳定且样本高效的训练至关重要。