强化学习 (RL) 中的内在奖励是一种自我生成的信号，鼓励智能体探索或学习超出外部奖励（外在奖励）明确定义的行为。与来自环境的外在奖励（例如，赢得游戏的积分）不同，内在奖励旨在从内部指导智能体的学习过程。 它们通过创建促进探索和技能获取的中间目标来帮助解决稀疏奖励等挑战——即智能体很少收到有意义的反馈。 例如，在迷宫求解任务中，外在奖励可能仅在到达出口时给出，而内在奖励可以激励智能体沿途访问新区域。
内在奖励的一个常见实现是好奇心驱动的探索。 在这里，智能体根据状态或行为的新颖性或不熟悉程度来生成奖励。 一种方法是使用预测模型：智能体预测其行为的结果，预测结果与实际结果之间的差异（预测误差）成为内在奖励。 例如，在网格世界环境中，如果智能体进入一个未探索的区域，并且其模型未能准确预测由此产生的状态，则高预测误差将产生大的内在奖励。 这鼓励智能体重新审视类似的场景，直到误差减少，从而有效地推动探索。 另一种方法是基于计数的探索，智能体为其访问较少的状态分配更高的奖励，使用基于哈希的计数或神经密度模型等技术来跟踪状态访问。
内在奖励通常与外在奖励结合使用，以平衡探索和利用。 例如，在游戏Montezuma’s Revenge中——一个具有稀疏奖励的经典 RL 挑战——使用内在动机（例如，好奇心或新颖性奖励）的智能体比仅依赖外在奖励的智能体更快地发现关键物品和房间。 开发人员可以通过在训练期间将其添加到外在奖励信号中来实现内在奖励。 像 OpenAI 的 Gym 或 PyTorch 这样的库提供了用于试验这些概念的框架。 然而，设计有效的内在奖励需要仔细调整以避免过度拟合探索（例如，智能体无休止地追求新奇事物而不解决任务）。 通过深思熟虑地整合内在奖励，开发人员可以创建在复杂、不确定环境中更有效地学习的智能体。