强化学习 (RL) 通过使用一些机制来处理延迟奖励，这些机制使智能体能够将动作与稍后发生的结果联系起来。 核心挑战在于，即使效果不能立即观察到，智能体也必须学习哪些动作是有益的。 为了解决这个问题，RL 算法通常依赖于价值函数，该函数估计在给定状态下采取行动的预期长期回报。 通过迭代优化这些估计，智能体学会优先考虑随着时间的推移带来更高累积回报的行动，即使个人奖励被延迟。
一种常见的方法是时序差分 (TD) 学习，它将即时奖励与未来奖励的预测相结合。 例如，在 Q 学习中，智能体通过将即时奖励与来自下一个状态的最佳未来价值的折扣估计相结合来更新其 Q 值（动作价值）估计。 这种“引导”机制允许智能体及时向后传播奖励信号。 考虑一下像国际象棋这样的游戏：在几步之后设置将军的走法可能不会产生立即的奖励，但是随着智能体通过重复的 episodes 学习其长期影响，该走法的 Q 值会逐渐增加。 像 Deep Q-Networks (DQN) 这样的算法通过神经网络扩展了这个想法来处理复杂的环境，使用像经验回放这样的技术来稳定跨延迟反馈的学习。
另一种策略涉及策略梯度方法，该方法通过基于估计的长期回报调整动作概率来直接优化策略。 例如，在蒙特卡罗方法中，智能体会等到一个 episode 结束才计算总回报，然后更新策略。 虽然这适用于较短的 episodes，但对于非常长的延迟来说，这会变得效率低下。 为了缓解这种情况，像 Advantage Actor-Critic (A2C) 这样的算法将策略梯度与价值函数（“评论员”）相结合，以提供关于动作质量的即时反馈。 例如，训练一个机器人行走可能涉及到达目标的稀疏奖励。 评论员评估动作是好于还是差于平均水平，允许策略（“演员”）在收到最终奖励之前进行调整。 像资格迹或折扣因子这样的技术也有助于更重地权衡最近的动作，确保信用在时间步长上得到适当分配。