强化学习 (RL) 和模仿学习通常结合使用，通过利用专家演示来更有效地训练智能体。RL 侧重于通过最大化奖励信号进行试错学习，而模仿学习则利用专家行为示例来指导学习过程。结合使用时，模仿学习可以为 RL 提供一个起点或用专家数据补充奖励函数，从而加速 RL。例如，智能体可能首先模仿专家轨迹以避免随机探索，然后使用 RL 来改进其策略，以适应新场景或超越专家的表现。
一种常见的方法是使用模仿学习来初始化 RL 策略。行为克隆等技术直接复制状态-动作对中的专家动作，这为智能体提供了一个可以进一步发展的基本策略。初始化后，PPO (Proximal Policy Optimization) 或 SAC (Soft Actor-Critic) 等 RL 算法可以通过与环境交互并优化奖励来微调策略。例如，自动驾驶汽车可能首先通过模仿人类驾驶员（模仿学习）来学习保持在车道内，然后使用 RL 处理避免突然障碍物等罕见场景。另一种方法是将模仿和 RL 目标结合到一个奖励函数中。DDPG (Deep Deterministic Policy Gradient) 等算法可以进行修改，以对偏离专家行为的情况进行惩罚，确保智能体在探索优化方案的同时，能够遵循安全或已被证明的策略。
一个实际的例子是使用 DAgger（数据集聚合）等混合框架。在 DAgger 中，智能体与环境交互，在出错时向专家查询纠正动作，并聚合这些数据以重新训练策略。这减少了训练（专家数据）和测试（智能体生成的状态）之间的分布不匹配。对于机器人学来说，这可能涉及一个机械臂首先通过复制人类演示来学习抓取物体，然后使用 RL 根据触觉反馈调整抓取力度。挑战包括确保专家数据质量以及平衡探索（以发现更好的策略）与模仿（以避免不安全行为）。虽然结合使用 RL 和模仿学习可以缩短训练时间，但需要仔细调整，以防止过度依赖不完美的演示或扼杀新颖的解决方案。