逆强化学习 (IRL) 是一种机器学习技术，它根据观察到的行为识别智能体试图优化的奖励函数。 与传统的强化学习 (RL) 不同，在传统的强化学习中，奖励函数是预定义的，智能体学习一种策略来最大化奖励，而 IRL 则颠倒了这个过程。 它从专家行为的示例（如人类演示或记录的数据）开始，并推断出使这些行动最佳的奖励结构。 当手动设计奖励函数不切实际时，这种方法很有用。 例如，在机器人技术中，对机器人进行编程以执行诸如抓取物体之类的复杂任务可能需要编码微妙的物理交互，这些交互更容易演示而不是在数学上定义。 IRL 允许系统从观察中推断出这些隐含的奖励，从而减少了手动工程的需求。
IRL 算法通常通过分析专家轨迹来工作 - 熟练智能体采取的状态和行动序列。 目标是找到一个奖励函数，该函数使专家的行为看起来比替代策略更佳。 一种常见的方法是最大熵 IRL，它假设专家的行为不仅是最佳的，而且是多样化的，避免过度拟合单一行为模式。 一旦推断出奖励函数，标准 RL 技术就可以训练智能体执行与这些奖励一致的任务。 例如，一辆自动驾驶汽车可能会观察到人类驾驶员在十字路口导航，推断出安全和流畅的加速是关键奖励，然后使用 RL 来学习优先考虑这些标准的驾驶策略。 这种两步过程——首先学习奖励，然后学习策略——使系统能够适应复杂的目标，而无需明确的奖励定义。
IRL 在机器人技术、自主系统和游戏 AI 中都有应用。 机器人可以通过模仿人类的演示来学习操作任务，而游戏 NPC 可以通过复制人类玩家的策略来采用逼真的行为。 然而，IRL 面临着奖励模糊（多个奖励函数可以解释相同的行为）和计算复杂性等挑战。 解决 IRL 通常涉及迭代优化，这可能会耗费资源。 此外，演示的质量至关重要：嘈杂或有偏见的数据可能导致不正确的奖励模型。 尽管存在这些挑战，但 IRL 对于奖励过于微妙而无法手动定义的场景非常有价值。 例如，训练机器人协助厨房工作可能涉及推断未言明的优先事项，如尽量减少溢出或避免某些表面，这些优先事项更容易演示而不是编纂。 通过关注观察到的行为，IRL 弥合了人类直觉和机器习得策略之间的差距。