马尔可夫决策过程（MDP）是一种在不确定性下为顺序决策建模的框架。其关键组成部分包括：状态、动作、转移概率、奖励函数和折扣因子。这些元素共同定义了代理如何与环境互动、从结果中学习并随时间优化决策。理解每个组成部分对于实现强化学习算法或动态规划解决方案至关重要。
前两个组成部分是状态和动作。状态表示代理可能处于的环境中的不同配置，例如机器人网格上的位置或游戏的当前棋盘状态。动作是代理在每个状态下可用的选择，例如在网格中向北/向南移动或在游戏中放置标记。例如，在导航任务中，状态可以是地图上的坐标，而动作可能包括“向前移动”或“左转”。状态和动作定义了问题的结构，确保代理能够感知环境并与其进行有意义的互动。
接下来，转移概率和奖励函数决定了环境如何响应动作。转移概率描述了在采取某个动作后从一个状态转移到另一个状态的可能性。例如，机器人尝试向前移动时，成功几率可能是 80%，由于地面湿滑而向侧面滑动的几率可能是 20%。奖励函数为每个状态-动作对分配一个数值，反映即时结果（例如，达到目标 +10，每走一步 -1）。这些组成部分对不确定性进行建模，并通过量化不同动作之间的权衡来指导代理的学习。
最后，折扣因子（gamma，γ）平衡了即时奖励和未来奖励。其值介于 0 和 1 之间，它降低了未来奖励的权重，鼓励代理优先考虑近期收益，同时也不忽视长期结果。例如，折扣因子为 0.9 意味着在两步后获得的奖励其原始价值将被折算为 0.81 倍。这确保了代理的策略实用可行，并避免了无限奖励循环。总而言之，这些组成部分共同创建了一个数学上严谨的模型，用于在动态、不确定环境中优化决策。