强化学习（RL）中的价值函数是一种数学工具，用于估计智能体从给定状态或状态-动作对中可以获得的预期累积奖励。它作为智能体评估状态或动作长期价值的指导，帮助其做出最大化总奖励的决策。价值函数主要有两种类型：状态价值函数（V(s)），它估计从某个状态开始的预期回报；以及动作价值函数（Q(s,a)），它估计在某个状态下采取特定动作的预期回报。例如，在一个智能体导航到目标的网格世界游戏中，V(s) 可能会为更接近目标的 states 分配更高的价值，而 Q(s,a) 则会在特定单元格中将向上或向右移动评定为更好的动作。
价值函数是许多强化学习算法的基础。它们通常使用 Bellman 方程计算，该方程将问题递归地分解为即时奖励和未来折扣奖励。例如，在 Q-learning 中，状态-动作对的 Q 值使用以下公式进行迭代更新：Q(s,a) = Q(s,a) + α [r + γ * max Q(s',a') - Q(s,a)]，其中 α 是学习率，γ 是折扣因子，max Q(s',a') 表示从下一个状态 (s') 获得的最佳未来价值。这种方法使智能体能够在即时奖励（例如捡起一个硬币）与长期目标（例如到达关卡终点）之间取得平衡。策略迭代和价值迭代等算法使用这些方程来改进价值估计，直到它们收敛到最优价值。
实际上，在大型或连续状态空间（例如环境复杂的视频游戏）中，计算精确的价值函数变得不可行。为了解决这个问题，开发者通常使用神经网络等函数逼近器，这在深度 Q 网络（DQN）中可见。例如，一个训练来玩 Atari 游戏的 DQN 使用神经网络根据像素输入来逼近每个可能动作（例如向左或向右移动挡板）的 Q 值。挑战包括平衡探索（尝试新动作）和利用（使用已知的高价值动作）以及确保训练的稳定性。尽管存在这些障碍，价值函数仍然是强化学习的核心组成部分，使得从机器人（例如优化运动路径）到推荐系统（例如预测用户随时间的参与度）的应用成为可能。