强化学习 (RL) 中的 Q 值是一个数值估计，代表智能体在给定状态下采取特定行动并随后遵循最优策略时，预期获得的长期奖励。它作为指导智能体决定哪些行动随着时间的推移最有利的指南。与即时奖励不同，Q 值考虑未来的结果，平衡短期收益与长期策略。例如，在一个智能体必须导航到目标的网格世界游戏中，从起始位置向“右”移动的 Q 值不仅反映即时步骤，还反映从那里有效到达目标的可能性。
Q 值是 Q-learning 等算法的核心。核心思想是使用贝尔曼方程迭代更新这些值：Q(s, a) = immediate_reward + discount_factor * max(Q(next_s, all_actions))。这个方程结合了在状态 s 中采取行动 a 后获得的奖励以及从下一个状态 next_s 中获得的最佳可能未来值，并使用一个折扣因子（例如 0.9）进行折扣，以优先考虑近期奖励。例如，如果一个机器人在迷宫中选择向左转并获得少量奖励，但最终进入死胡同，那么它在该状态下选择“左转”的 Q 值就会降低。通过多次迭代，智能体细化这些估计，以构建最优策略。
在实践中，对于小的状态-行动空间，Q 值通常存储在一个查找表（Q 表）中。然而，对于具有高维状态（例如像素输入）的复杂环境（如视频游戏），神经网络用于近似 Q 值（深度 Q 网络或 DQN）。一个关键挑战是平衡探索（尝试新行动）和利用（使用已知的高 Q 值行动）。ε-greedy 策略（例如 10% 随机行动）等技术有助于智能体发现更好的策略，而不会陷入困境。实现 Q-learning 的开发人员必须处理诸如选择折扣因子、学习率以及在扩展到实际问题时管理计算成本等权衡。