贝尔曼方程是强化学习 (RL) 中的一个基础概念，它通过同时考虑即时奖励和未来结果来定义状态或动作的价值。其核心思想是，处于某个状态的价值等于当前获得的奖励与可以转移到的下一个最佳状态的折扣价值之和。这种递归关系允许智能体即使在复杂环境中也能系统地评估长期奖励。例如，在网格世界游戏中，智能体可能会使用贝尔曼方程来决定是向左移动（获得少量即时奖励）更好，还是向右移动（获得较大但延迟的奖励）更好。
该方程主要有两种形式：一种用于状态价值函数，另一种用于动作价值函数。状态价值形式 V(s) 计算从状态 s 获得的预期回报，它考虑了即时奖励以及下一个状态的折扣价值（对所有可能的转移进行平均）。数学上表示为 V(s) = E[R + γV(s’)]，其中 R 是即时奖励，γ (gamma) 是折扣因子 (0 ≤ γ < 1)，用于优先考虑近期奖励，s’ 是下一个状态。对于动作价值（Q 值），该方程将其扩展到动作：Q(s,a) = E[R + γmax_a’ Q(s’,a’)]。这种形式通过比较每个可能移动的长期价值，帮助智能体在给定状态下选择最优动作。
一个实际例子有助于说明这一点。假设一个机器人在房间里导航以到达充电站。贝尔曼方程使机器人能够权衡即时能量成本（例如，向前移动）与未来奖励（到达充电器）。如果机器人距离充电器只有一步之遥，方程可能会为该状态分配高价值，因为奖励（充电）即将到来。如果机器人距离较远，则价值取决于沿最佳路径的未来奖励的折扣总和。开发者通过迭代更新价值估计直到收敛来实现这一点，这是价值迭代或 Q 学习等算法的核心过程。折扣因子 γ 通过优先考虑更短的路径，确保智能体不会陷入无限循环。
理解贝尔曼方程对于设计强化学习算法至关重要。例如，Q 学习使用动作价值版本来根据观察到的奖励和最大未来价值更新 Q 表条目。在大状态空间（例如，具有数百万像素的电子游戏）中会出现挑战，此时精确计算变得不切实际。这导致使用神经网络（例如，深度 Q 网络）进行近似，这些网络可以在不存储每个可能状态的情况下估计 Q 值。通过将决策建立在数学框架之上，贝尔曼方程提供了一种结构化的方式来平衡探索和利用，使其在解决游戏 AI、机器人或资源管理系统等现实世界强化学习问题时不可或缺。