强化学习 (RL) 中的蒙特卡洛方法主要用于通过对完整情节的结果求平均来估计价值函数和优化策略。与以增量方式更新估计值的方法（如时序差分学习）不同，蒙特卡洛方法会等到情节结束后才计算总奖励并更新价值估计。这种方法是无模型的，这意味着它不需要事先了解环境的动态，而是依赖于对实际交互进行采样。例如，在像 Blackjack 这样的游戏中，只有在发完最后一张牌后才知道结果（赢/输），蒙特卡洛方法会玩很多手牌，跟踪结果，并平均回报以估计每种游戏状态的价值。
蒙特卡洛方法的一个主要优点是能够处理具有复杂或未知动态的环境。由于它们使用完整的情节，因此避免了自举（基于其他估计来估计价值），这可能会引入偏差。例如，在训练一个代理来导航迷宫时，蒙特卡洛会记录所采用的整个路径以及退出时收集的总奖励。通过对许多试验中的这些结果求平均，代理可以了解哪些状态更有价值。但是，这种方法需要情节终止，因此不太适合连续的、非情节性的任务。它也往往在估计中具有较高的方差，因为结果取决于随机动作和状态的长序列，这会减慢学习速度。
与动态规划（需要环境的完整模型）或时序差分学习（混合了蒙特卡洛和自举）等替代方案相比，在自然定义情节的情况下，蒙特卡洛更易于实现。例如，在训练机器人堆叠积木时，蒙特卡洛可以从多次尝试中收集数据，计算每个动作序列的成功率，并相应地调整策略。虽然在某些情况下效率较低，但其对平均真实经验的直接依赖使其成为构建精确环境模型不可用或不切实际的任务的稳健选择。开发人员通常在探索更高级的混合方法之前将其用作基准。