强化学习（RL）中的动态规划（DP）提供了一个框架，用于在环境动态（转移概率和奖励）完全已知的情况下解决马尔可夫决策过程（MDP）。 DP 算法通过迭代计算价值函数将问题分解为更小的子问题，价值函数估计状态或状态-动作对的预期长期奖励。例如，诸如策略迭代和价值迭代之类的方法使用这些价值函数来改进代理的策略（即指示采取哪些行动的策略），直到收敛到最佳解决方案。这些方法依赖于贝尔曼方程，该方程定义了状态值与其可能的后继状态值之间的递归关系。
RL 中 DP 的一个关键例子是策略迭代，它在策略评估和策略改进这两个步骤之间交替进行。在策略评估期间，该算法通过迭代更新估计值直到稳定来计算当前策略下每个状态的值。一旦值准确，策略改进通过选择使每个状态的预期值最大化的动作来更新策略。例如，在网格世界导航任务中，代理可能会根据其当前策略（例如，“向右移动”）计算每个网格单元格的值，然后调整策略以优先考虑具有较高值的单元格。同样，价值迭代通过使用立即操作的最大可能奖励直接更新状态值来组合这些步骤，从而绕过显式的策略评估周期。这在诸如库存管理之类的场景中很有用，在这些场景中，状态代表库存水平，而动作决定了最小化成本的订单数量。
虽然 DP 在理论上是合理的，但由于假设环境的动态完全已知，因此其在 RL 中的实际用途受到限制。现实世界的 RL 问题通常缺乏此信息，从而导致无模型方法，例如 Q 学习。但是，DP 仍然是理解 RL 概念的基础，并且仍然适用于受控环境（例如，具有已知规则的模拟或游戏）。例如，在国际象棋对弈代理中，如果游戏的狀態转移和奖励被完美建模，DP 可以预先计算最佳动作。开发人员还应该注意，对于大型状态空间，DP 算法在计算上会非常密集，从而促使进行近似，例如优先级扫描或使用函数逼近器（例如，神经网络）以在状态之间进行泛化。这些权衡突出了 DP 作为更具可扩展性的 RL 技术的构建块的作用。