强化学习 (RL) 中的灾难性遗忘是指智能体在接受新任务训练后，失去执行先前学习任务的能力。 发生这种情况是因为神经网络的参数（编码原始知识）在新数据的训练过程中被覆盖。 与人类在学习新技能时可以保留旧技能不同，强化学习模型通常难以平衡旧信息和新信息，从而导致先前任务的性能迅速下降。 这个问题在顺序学习场景中尤其常见，在这种场景中，智能体面临一系列任务，而无法访问过去的训练数据。
根本原因在于神经网络更新其参数的方式。 当强化学习智能体学习新任务时，基于梯度的优化会调整网络的权重，以最大限度地减少当前任务的误差。 但是，这些调整并不受约束来保护先前任务的知识。 例如，假设一个智能体接受了导航迷宫的训练。 如果稍后它接受了训练以避免在同一迷宫中移动的障碍物，那么对其策略网络的更新可能会消除原始导航策略，使其即使在掌握了避障能力后也无法到达目标。 这种效应在强化学习中会被放大，因为智能体自身的行为会影响它学习的数据，从而创建一个反馈循环，其中过时的策略会被完全丢弃。
为了减轻灾难性遗忘，开发人员使用了诸如经验回放（存储过去的数据并与新任务一起重新训练）或弹性权重固化（识别并保护旧任务的关键网络权重）等技术。 例如，在机器人学习抓取对象时，经验回放可能涉及定期回顾早期的抓取场景以加强这些技能。 另一种方法是模块化架构设计，其中单独的网络处理不同的任务。 虽然这些方法减少了遗忘，但它们通常会在计算成本或灵活性方面做出权衡。 在构建强大的强化学习系统中，平衡稳定性（保留旧知识）和可塑性（学习新任务）仍然是一个关键挑战。