评估强化学习 (RL) 智能体的性能，涉及衡量其在环境中学习达成目标的程度。关键指标包括累积奖励、收敛稳定性和样本效率。累积奖励跟踪智能体在回合中收集的总奖励，反映其最大化长期成功的潜力。收敛性衡量智能体的策略是否随时间稳定到最优策略，而不是随机波动。样本效率评估智能体在有限交互下学习的速度——这是数据收集成本高昂的实际应用中的关键因素。例如，在网格世界导航任务中，你可以跟踪智能体到达目标所需的步数（样本效率）以及其成功率在训练后是否达到平稳（收敛性）。
性能评估还取决于环境的复杂性和智能体的设计。在经典控制任务（例如，CartPole）等简单环境中，衡量成功是直观的（例如，平衡杆子 200 个时间步）。然而，在多智能体博弈或机器人技术等复杂场景中，指标必须考虑部分可观察性、稀疏奖励或竞争目标。例如，训练机器人行走的 RL 智能体可能需要对稳定性、速度和能源使用进行单独评估。超参数敏感性（例如，学习率、折扣因子）和探索-利用权衡等挑战进一步使评估复杂化。早期训练中的高累积奖励可能会掩盖过拟合，如果智能体在未见过的环境中失败，则需要跨不同测试用例进行验证。
最佳实践包括与基线（例如，随机智能体、基于规则的系统）进行基准测试、可视化学习曲线和在不同环境中测试。TensorBoard 或自定义日志记录等工具可以绘制奖励趋势图，而消融研究有助于分离算法组件（例如，奖励塑形）的影响。例如，在同一环境中比较深度 Q 网络 (DQN) 智能体与近端策略优化 (PPO) 智能体，可以揭示它们在稳定性或速度方面的优势。实际部署增加了延迟和传感器噪声等层面，因此模拟应模仿这些条件。迭代测试——根据指标调整超参数——确保智能体能够泛化到训练数据之外。最终，评估是迭代的且依赖于上下文，需要明确对齐指标与问题目标。