强化学习（RL）中的转移模型是智能体行为如何影响环境的数学表示。它定义了在采取特定行动时从一个状态转移到另一个状态的概率。该模型是马尔可夫决策过程（MDPs）的核心组成部分，用于形式化强化学习问题。转移模型捕捉环境的动态性，使智能体能够根据其当前状态和选择的行动预测未来状态。例如，在网格世界导航任务中，转移模型可能会指定从某个单元格“向上”移动有 90% 的成功几率，而由于环境噪声有 10% 的几率滑到相邻单元格。
转移模型通常表示为一个函数或矩阵 ( P(s’ | s, a) )，它给出了从状态 ( s ) 采取行动 ( a ) 后转移到状态 ( s’ ) 的概率。在确定性环境中，这种概率对于单一结果来说是 1（例如，机器人按照指示精确向前移动一米）。在随机性环境中，模型考虑了不确定性——就像由于传感器噪声可能无法完美执行转弯的自动驾驶汽车。开发者通常在价值迭代或策略迭代等算法中使用此模型来计算最优策略，前提是模型已知。例如，在国际象棋之类的棋盘游戏中，转移模型会列举玩家移动后所有可能的棋盘配置，尽管在实践中，由于计算限制，此类模型通常会被简化。
在实际的强化学习（RL）实现中，转移模型在平衡探索与利用方面起着关键作用。如果模型已知，智能体可以通过模拟轨迹进行预先规划（例如，在围棋等游戏中使用蒙特卡洛树搜索）。然而，在许多现实世界的场景中，模型是未知的，智能体必须从交互中学习它。基于模型的强化学习算法，如 Dyna-Q，结合了经验回放和学习到的转移模型，以提高样本效率。例如，一个学习导航货架的仓库机器人可能最初通过试错来估计转移概率，然后随着时间的推移完善其模型。开发强化学习系统的开发者必须决定是假设模型已知（以便更快计算）还是学习它（以便提高适应性），这取决于问题的复杂性和环境数据的可用性。