强化学习 (RL) 中的过拟合是指智能体学习在其训练环境中表现良好，但无法推广到新的、未见过的环境或场景。 发生这种情况是因为智能体过于密切地优化了其策略（它用于做出决策的策略），以适应训练设置的特定细节，例如特定的环境动态、奖励结构或初始条件。 智能体没有学习广泛适用的规则，而是变得过于专业化，这使得它在面对现实世界环境中的变化或不可预测性时变得脆弱。
RL 中过拟合的一个常见例子是在具有固定参数的模拟环境中训练的智能体。 例如，想象一下训练一个机器人在迷宫中导航，其中墙壁始终放置在相同的位置。 智能体可能会记住到达目标的精确转弯顺序，但如果迷宫布局发生哪怕是很小的变化，它也会感到困难。 类似地，在游戏场景中，智能体可能会利用训练环境中的怪癖（例如可预测的对手行为或确定性物理）来最大化奖励，但这些策略在面对更具适应性的对手或具有随机元素的环境时会失败。 当训练数据缺乏多样性，或者智能体的探索受到限制而无法遇到各种情况时，通常会出现过拟合。
为了缓解过拟合，开发人员可以使用领域随机化等技术，在训练期间改变环境参数（例如，光照、摩擦、物体位置），以使智能体暴露于更广泛的条件。 正则化方法（例如向智能体的观察或行为添加噪声）也可以鼓励稳健性。 另一种方法是在与训练设置不同的验证环境中评估智能体，确保它不会过度优化训练环境。 例如，使用不同的天气条件和交通模式（而不是单一场景）训练自动驾驶汽车模拟器有助于智能体适应现实世界中的不可预测性。 通过在训练期间优先考虑泛化，开发人员可以构建在各种动态设置中可靠运行的 RL 系统。