基于价值的方法和基于策略的方法是强化学习中两种基本方法，它们的主要区别在于指导智能体决策的方式。基于价值的方法侧重于学习状态或动作的价值（例如，在某个状态下特定动作可能带来的回报），而基于策略的方法直接学习策略（例如，将状态映射到动作的策略），不依赖于显式的价值估计。选择哪种方法取决于问题复杂度、动作空间和所需的稳定性等因素。
基于价值的方法（例如 Q-learning）通过建立价值函数（如 Q 表）来估算在给定状态下采取某个动作预期的长期回报。然后，智能体选择能使该价值最大化的动作。例如，在网格世界游戏中，智能体可能会学习到在特定单元格向右移动比向左移动产生更高的 Q 值。这些方法在离散、可控的动作空间环境中表现出色，但在连续或高维环境中表现欠佳。一个局限性是，当动作空间增大时，从价值中推导策略（例如，总是选择最高的 Q 值）会变得效率低下，因为维护每个状态-动作对的准确价值估计计算成本很高。
基于策略的方法（例如 REINFORCE 或策略梯度算法）绕过价值估计，直接优化参数化的策略。策略（例如神经网络）不是跟踪价值，而是训练输出每个动作的概率，这些概率会根据最大化回报进行调整。例如，一个具有连续关节运动的机器人手臂控制任务可能会使用策略网络直接从概率分布中采样扭矩值。这种方法更能自然地处理连续动作和复杂环境，但由于梯度估计的方差较大，往往需要更多样本才能收敛。像 Actor-Critic 这样的混合方法结合了这两种方法：策略（Actor）决定动作，而价值函数（Critic）评估这些动作，从而减少方差并提高稳定性。这种平衡使得混合方法在游戏 AI 或机器人技术等现代应用中广受欢迎。