经验回放是深度强化学习 (DRL) 中使用的一种技术，通过存储和重用过去的经验来提高训练的稳定性和效率。在 DRL 中，智能体通过与环境交互学习，收集状态-动作-奖励-下一个状态的元组形式的数据。如果没有经验回放，智能体将只根据最近的经验进行训练，这可能由于数据相关性以及对稀有但重要事件利用效率低下而导致学习不稳定。经验回放通过维护一个过去的经验缓冲区来解决这些问题，使智能体能够多次从中采样和学习。
经验回放的一个主要优点是打破了连续经验之间的时间相关性。当智能体与环境交互时，它收集的数据是顺序的，并且高度依赖于其当前策略。直接在这个数据流上进行训练会导致神经网络过度拟合最近的经验，从而导致更新不稳定。通过从过去的经验缓冲区中随机采样（这个过程称为“小批量采样”），智能体可以从更多样化且不相关的数据集中学习。例如，在基础性的 DRL 算法 Deep Q-Networks (DQN) 中，经验回放确保网络不会因经验的顺序而产生偏差，从而提高了收敛到最优策略的可能性。这种方法还能更好地利用硬件资源，因为不相关的数据批次可以在 GPU 上实现更高效的并行处理。
经验回放的另一个关键作用是提高样本效率和减轻灾难性遗忘。强化学习通常需要大量数据，重用经验可以使智能体从每次交互中学习到更多。例如，在像训练机器人行走这样复杂的环境中，罕见的成功（例如，保持平衡）可能很少发生。存储这些经验可以确保智能体能够重温和加强这些行为。此外，经验回放有助于防止神经网络遗忘早期的教训。如果没有缓冲区，智能体在更新策略时可能会丢弃宝贵的过去知识，导致性能下降。通过平衡新旧数据（例如，使用优先经验回放缓冲区来强调有影响力的经验），智能体可以维持更稳定和鲁棒的学习过程。这种平衡在自动驾驶等实际应用中尤为重要，因为必须有效地保留和学习罕见但关键的场景（例如，避免碰撞）。