马尔可夫决策过程 (MDP) 是一种数学框架，用于模拟在结果部分随机且部分受决策者控制的情况下进行决策。 它由状态、行动、转移概率、奖励和折扣因子组成。状态表示系统可能处于的不同场景，行动是决策者可用的选择，转移概率定义了行动如何使系统在状态之间移动，奖励量化了在某种状态下采取行动的直接好处。 折扣因子平衡了即时奖励与未来奖励。 MDP 是强化学习和最优控制的基础，因为它们正式确定了智能体如何通过顺序决策实现长期目标。
MDP 在马尔可夫属性下运行，这意味着下一个状态和奖励仅取决于当前状态和行动，而不取决于先前的历史记录。 例如，考虑一个在网格中导航的机器人。 每个网格单元格都是一个状态，诸如“向北移动”或“抓取对象”之类的动作会将机器人以一定的概率过渡到相邻单元格（例如，80% 的成功率，20% 的滑动）。 奖励可能是到达目标 +10，撞到墙 -1，否则为 0。智能体的目标是学习一种策略——将状态映射到行动的规则——从而最大化随时间推移的累积奖励。 解决 MDP 通常涉及使用价值迭代或策略迭代等算法直接计算价值函数（来自状态的预期长期奖励）或策略。
开发人员使用 MDP 来模拟游戏 AI、资源分配或自主系统等问题。 例如，在推荐系统中，状态可以表示用户上下文（例如，浏览历史记录），操作是项目推荐，奖励反映用户参与度。 转移概率模拟推荐如何影响用户行为。 像 Q-learning 这样的算法，它可以在不知道完整 MDP 动态的情况下近似最佳策略，是从这个框架中派生的实用工具。 诸如 OpenAI Gym 之类的库提供了模拟基于 MDP 的问题的环境，使开发人员能够测试强化学习智能体。 了解 MDP 有助于设计平衡探索（尝试新行动）和利用（使用已知奖励）的系统，这是自适应决策中的核心挑战。