衡量强化学习 (RL) 代理的性能涉及跟踪反映其学习有效策略、跨环境泛化以及实现特定于任务的目标的能力的指标。 主要指标包括累积奖励、学习效率和特定领域的基准。 这些测量有助于开发人员诊断问题、比较算法并验证代理是否满足实际要求。
最常见的指标是代理在剧集中累积的累积奖励（或回报）。 这反映了代理平衡即时和长期收益的能力，尤其是在奖励稀疏或延迟的任务中。 例如，在游戏中，达到目标时会奖励积分，那么每个剧集中的总分表示成功。 但是，仅凭累积奖励可能会产生误导。 如果代理利用有缺陷的奖励函数（例如，重复收集微不足道的奖励而不是解决任务），开发人员必须分析奖励随时间变化的趋势。 诸如移动平均线或百分位数图之类的工具有助于区分一致的性能和幸运的剧集。 此外，将代理的奖励与基线（例如，随机动作或人类表现）进行比较可以为改进提供背景信息。
另一个关键因素是学习效率，它衡量代理收敛到最佳策略的速度。 这包括跟踪达到性能阈值所需的训练剧集数或环境交互数。 例如，在网格世界导航任务中，使用 Q 学习的代理可能需要 10,000 步才能达到 90% 的成功率，而像 PPO 这样更具样本效率的算法可能需要 5,000 步才能达到相同的目标。 开发人员还会分析学习曲线（奖励与训练步骤的图），以识别平台期或不稳定性。 性能的突然下降可能表明过度拟合到特定状态或探索-利用失衡。 诸如 TensorBoard 或自定义日志脚本之类的工具有助于可视化这些趋势。 在训练时间或计算成本受到限制的实际应用中，效率尤其重要。
最后，特定领域的指标提供量身定制的见解。 在机器人技术中，成功率（例如，机器人手臂抓住物体的频率）或安全指标（例如，碰撞次数）可能比原始奖励更重要。 对于自动驾驶模拟，诸如转向的平稳性或遵守交通规则之类的指标可能至关重要。 开发人员通常将这些指标与鲁棒性测试相结合，例如评估在未见环境或噪声传感器输入下的性能。 例如，经过训练来控制无人机的 RL 代理可能会在多风条件下进行测试，以评估其适应性。 此外，诸如推理时间（例如，每次动作的毫秒数）或内存使用量之类的计算指标对于在边缘设备上部署至关重要。 通过将指标与最终目标对齐，开发人员可以确保代理的性能转化为现实世界的有效性。