迁移学习在强化学习（RL）中的应用涉及重用先前学习任务中的知识，以提高新相关任务的学习效率或性能。迁移学习不是从零开始训练一个 RL Agent，而是允许 Agent 利用在源域中学到的策略、价值函数或环境动态来加速目标域的学习。例如，一个经过训练以在网格世界环境中导航的 Agent，可以重用其对移动和避障的理解，以在具有不同布局的新迷宫中更快地学习。当目标任务的训练数据有限或需要高成本的交互（例如，现实世界的机器人）时，这种方法特别有用，因为它减少了进行详尽探索的需求。
一种常见的实现方法是迁移预训练模型中的神经网络权重。假设一个 RL Agent 使用深度 Q 网络（DQN）来玩一个视频游戏。网络的早期层学习边缘检测或对象跟踪等通用特征，这些层可以作为起点，用于训练类似的游戏。仅对后续层（处理游戏特定决策的层）进行微调可以显著缩短训练时间。另一个例子是模拟到现实的迁移，即机器人在模拟环境（源）中学习任务，然后适应现实世界（目标）。在这种情况下，Agent 可能保留模拟中的高级策略，但调整低级控制以处理现实世界的噪音。然而，如果源域和目标域差异过大（例如，动作或状态表示不兼容），则会带来挑战，需要仔细对齐输入空间或奖励函数。
开发者可以通过如渐进式网络（progressive networks）（在扩展网络以处理新任务的同时保留旧知识）或元强化学习（meta-RL）（训练 Agent 快速适应新任务）等框架在 RL 中应用迁移学习。例如，一个训练有素可以抓取多种物体的机械臂，可以利用元强化学习在几次尝试内推断出新物体的抓取策略。实际考虑因素包括选择相关的源任务、适当地冻结/共享层，以及在微调期间平衡旧知识与新知识。如 RLlib 等库支持通过允许在实验之间检查点和重用策略来实现迁移。虽然迁移学习降低了训练成本，但需要进行测试：不匹配的领域可能导致负迁移，即先验知识损害性能。开发者应及早验证目标任务上的迁移模型，并调整超参数（例如，学习率）以稳定适应过程。