强化学习 (RL) 中的数据增强策略是一种通过在训练期间修改智能体的观察或环境来提高智能体泛化能力的策略。这些策略将转换应用于智能体交互的数据，类似于在监督学习中使用图像旋转或颜色偏移。目标是让智能体接触到更广泛的场景，减少对特定训练条件的过度拟合。例如，在机器人导航任务中，数据增强可能涉及改变光照、添加视觉噪声或在模拟训练环境中随机化相机角度。通过这样做，智能体学习处理在现实世界部署中可能遇到的变化。
一个关键的考虑因素是确保数据增强保留环境的底层动态。例如，在像 Pong 这样的游戏中水平翻转图像会颠倒球拍的移动方向。如果在行动空间中没有考虑数据增强，智能体可能会采取不正确的行动。为了解决这个问题，一些方法调整策略的输出以与转换对齐。例如，如果图像被翻转，则可以在训练期间将“向左移动”操作与“向右移动”操作交换。另一种方法是使用领域随机化，其中在模拟中改变摩擦、对象纹理或重力等参数。这迫使智能体适应不同的物理特性，而不会破坏环境的核心规则。在机器人技术中，使用随机的抓地强度或对象大小进行训练有助于策略推广到未见过的物理条件。
数据增强也可以应用于智能体的经验回放缓冲区。在采样过去的转换时，状态会被修改（例如，向传感器数据添加噪声）以创建合成但合理的变体。对于视觉 RL 任务，随机裁剪、颜色抖动或帧堆叠等技术很常见。但是，必须小心避免无效状态——例如，过于激进地裁剪图像可能会删除关键的游戏元素。成功的实现，例如 Procgen 基准测试中的实现，表明使用这些数据增强训练的智能体在未见过的关卡中表现更好。数据增强策略的有效性取决于平衡多样性和真实性，确保智能体学习稳健的特征，而不会误导其对环境动态的理解。