Actor-Critic 方法是一种强化学习技术，它结合了两个组件：一个actor（行动者，负责决定动作）和一个critic（评论家，负责评估动作）。actor 是一个策略函数，根据当前状态选择动作，而 critic 则估计处于该状态或执行该动作的价值。通过协同工作，actor 利用 critic 的反馈改进其策略，而 critic 则根据观察到的奖励调整其评估。这种双重结构比仅依赖单一组件的方法更能有效地平衡探索（尝试新动作）和利用（使用已知的良好动作）。
例如，想象训练一个智能体导航迷宫。actor 可能会在路口选择向左或向右移动，然后 critic 评估该选择是否使智能体更接近目标。如果 critic 认为该动作有利，就会提供一个积极信号，鼓励 actor 将来重复类似动作。critic 本身则通过比较其对状态的预测价值（例如，“这个路口值 +5 分”）与实际结果（例如，到达下一个状态得到 +10 分”）来学习。这些值之间的差异，称为优势 (advantage)，用于调整两个网络：actor 更新其策略以偏好高优势的动作，而 critic 则调整其预测以更好地匹配现实。
在实践中，actor-critic 方法通常对两个组件使用神经网络。actor 网络输出每个动作的概率，而 critic 输出一个价值估计。在训练过程中，智能体与环境交互，收集奖励，并计算梯度来更新网络。例如，在游戏场景中，如果 critic 高估了某个失败动作的价值，actor 的策略就会被调整以降低该动作的可能性。这个迭代过程持续进行，直到 actor 的策略收敛到一个最优策略。这种方法在纯策略梯度方法（如 REINFORCE）的高方差与纯价值方法（如 Q-learning）的较低灵活性之间取得了平衡，使其成为处理复杂任务的通用选择。