在策略学习和离策略学习是强化学习中的两种方法，它们在如何使用数据更新策略方面有所不同。在策略学习要求用于训练策略的数据由当前正在改进的同一策略生成。换句话说，智能体仅从遵循其当前策略时所采取的行动中学习。相比之下，离策略学习允许智能体从不同策略生成的数据中学习，例如策略的旧版本或完全独立探索策略。这种区别影响了算法如何收集数据、更新策略以及平衡探索与利用。
在策略学习的一个经典例子是 SARSA 算法。SARSA 根据当前策略的下一个动作更新其动作价值估计。例如，如果一个智能体处于状态 *S*，采取动作 *A*，移动到状态 *S’*，然后选择动作 *A’*（使用其当前策略），SARSA 使用此序列 ( *S, A, R, S’, A’*) 来更新其 Q 值。由于下一个动作 *A’* 是由正在训练的同一策略选择的，因此该算法保持在策略状态。相比之下，Q-learning 是离策略的，因为它使用下一个状态的最大估计未来奖励 (*max Q(S’, a)*) 更新 Q 值，而不管当前策略实际采取哪个动作。这使得 Q-learning 即使在智能体的探索策略（例如，ε-贪婪）并不总是选择最佳动作的情况下也能学习最优策略。
在策略方法和离策略方法之间的选择取决于问题的要求。像 Advantage Actor-Critic (A2C) 这样的在策略方法通常更容易实现并且更稳定，因为它们直接优化生成数据的策略。但是，它们的样本效率可能较低，因为它们会在每次策略更新后丢弃数据。像具有经验回放的 Deep Q-Networks (DQN) 这样的离策略方法更灵活且样本效率更高，因为它们可以重复使用过去的经验。例如，DQN 将转换存储在缓冲区中，并随机对其进行采样以打破数据中的相关性，从而实现更好的泛化。但是，离策略算法可能更复杂，需要像重要性采样这样的技术来纠正数据生成策略和目标策略之间的不匹配。开发人员可能会选择在策略方法来获得动态环境中的稳定性，并在数据效率或重用至关重要时选择离策略方法。