Q 函数，或称动作价值函数，是强化学习 (RL) 的核心概念，它量化了智能体在给定状态下采取特定动作，并在此后遵循策略所能获得的预期长期奖励。它表示为 Q(s, a)，其中 “s” 表示当前状态，“a” 表示采取的动作。 Q 函数帮助智能体评估不同状态下动作的质量，引导他们做出最大化累积奖励的决策。例如，在机器人导航到目标的网格世界环境中，Q 函数根据移动（例如向左或向右移动）导致目标的可能性以及避免惩罚的可能性来为动作分配值。
在 Q 学习（一种流行的 RL 算法）中，Q 函数使用 Bellman 方程迭代更新：Q(s, a) = Q(s, a) + α [R(s, a) + γ max(Q(s’, a’)) - Q(s, a)] 其中，α 是学习率，γ 是折扣因子（平衡即时奖励和未来奖励），R(s, a) 是在状态 “s” 中采取动作 “a” 后收到的奖励。术语 max(Q(s’, a’)) 表示从下一个状态 “s’” 获得的最高预期未来奖励。例如，如果一个机器人在附近有障碍物的状态中，Q 函数可能会为向右转（避免碰撞）分配更高的价值，而不是向前移动，这取决于环境中定义的奖励和惩罚。
实际上，Q 函数通常使用表格（对于小的状态-动作空间）来实现，或者使用神经网络来近似（对于复杂的环境）。在深度 Q 网络 (DQN) 中，神经网络估计 Q 值，使智能体能够处理高维输入，例如图像。然而，探索-利用权衡（例如，使用 ε-greedy 策略来平衡尝试新动作与利用已知的良好动作）以及确保训练期间的稳定性（通过经验回放等技术）等挑战至关重要。例如，训练一个智能体来玩视频游戏可能涉及一个 Q 网络，该网络处理像素数据并根据存储在回放缓冲区中的数千次游戏体验来更新其预测。这种准确估计和高效学习之间的平衡使 Q 函数成为许多 RL 系统的基石。