策略梯度和 Q 学习是强化学习中的两种核心方法，它们的主要区别在于优化目标。策略梯度直接调整策略（将状态映射到动作的函数）的参数，以最大化预期奖励。例如，神经网络可能会输出游戏中采取动作的概率，并且该算法会根据过去动作是否带来高回报来调整这些概率。相比之下，Q 学习侧重于学习一个值函数（Q 函数），该函数估计在给定状态下采取特定动作的长期奖励。然后通过选择具有最高 Q 值的动作来间接导出策略。例如，在网格世界导航任务中，Q 学习会为每个单元格中每个可能的移动分配一个值，从而引导代理找到最佳路径。
每种方法处理探索和更新的方式也不同。 Q 学习是“离策略”的，这意味着它可以从重放缓冲区中存储的历史或随机动作中学习。它使用贝尔曼方程更新 Q 值，该方程将即时奖励与贴现的未来奖励相结合。例如，如果在网格单元格中向右移动会获得 +1 的奖励，则该操作的 Q 值会更新，以反映 +1 以及从下一个状态获得的最佳可能的未来奖励。然而，策略梯度通常是“在线策略”的，需要来自当前策略的新数据。它们计算预期奖励相对于策略参数的梯度，从而推动动作朝向产生更高回报的动作。例如，如果机器人手臂的运动导致成功，则策略梯度方法会增加未来类似运动的可能性。
使用场景通常决定了选择哪种方法。 Q 学习适用于离散动作空间（例如，在网格中选择 4 个方向），但在连续动作（例如，调整电机的扭矩）方面表现不佳。策略梯度擅长于连续或高维动作空间，例如训练角色在模拟中行走。由于重放缓冲区，Q 学习可能更具有样本效率，而策略梯度通常需要更多的交互，但更加灵活。例如，Q 学习可以使用有限的数据更快地训练游戏代理，而策略梯度可以更好地处理动作精细且连续的复杂机器人任务。这两种方法都有权衡，混合方法（如 Actor-Critic）有时会将它们的优势结合起来。