贝尔曼方程是一个递归公式，用于在结果取决于当前选择和未来状态的环境中对决策进行建模。它是动态规划和强化学习的基础，提供了一种通过考虑即时奖励和贴现的未来奖励来计算状态或行动价值的方法。该方程将复杂的顺序决策分解为更小、更易于管理的步骤，从而能够高效地计算最优策略。例如，它通过评估每次移动的即时成本以及到达后续位置的长期利益，帮助机器人决定到达目标的最佳路径。
该方程通常表示为 V(s) = maxₐ [R(s, a) + γV(s′)]，其中 V(s) 是当前状态的价值，R(s, a) 是采取行动 a 的即时奖励，γ（伽马）是一个贴现因子（介于 0 和 1 之间），它降低了未来奖励的权重，而 V(s′) 是下一个状态的价值。术语 maxₐ 表示选择使总价值最大化的行动。例如，在一个网格世界游戏中，智能体移动以避开障碍物并到达目标，贝尔曼方程通过将移动的奖励（例如，每步 -1）与下一个单元格的贴现价值相结合来计算每个单元格的价值。贴现因子确保智能体优先考虑较近的奖励，防止无限循环或过于投机的长期计划。
开发人员在价值迭代和 Q-learning 等算法中应用贝尔曼方程。在价值迭代中，存储状态值的表格使用该方程迭代更新，直到值稳定，表示最优策略。例如，自动驾驶汽车模拟可能会对交通灯状态进行建模，根据停止/加速的奖励以及由此产生的交通状况的贴现价值来更新每个状态的价值。类似地，Q-learning 通过估计行动价值 (Q(s, a)) 而不是状态价值来扩展这一点，使智能体能够在不知道环境动态的情况下学习策略。这些方法依赖于方程的递归结构将问题分解为可解决的子问题，使其可扩展用于游戏 AI 或资源分配系统等实际应用。