异步优势 Actor-Critic (A3C) 算法是一种强化学习方法，它将 Actor-Critic 框架与并行化、异步训练相结合。A3C 的核心是使用多个独立的智能体（或“worker”），它们同时与环境的独立副本进行交互。每个智能体都维护自己的策略（即“Actor”）和价值函数（即“Critic”），并定期与全局网络同步更新。这种设置通过并行收集经验来缩短训练时间，并避免了经验回放等方法的计算瓶颈。
A3C 的架构有两个关键组成部分：Actor 和 Critic。Actor 决定采取哪些行动，而 Critic 估计当前状态的价值，以衡量某个行动与平均水平相比是更好还是更差。A3C 中的“优势”（advantage）是指预测回报（使用 Critic）与实际回报之间的差异，这有助于减少更新中的方差。例如，在游戏环境中，一个 worker 可能执行 10 个步骤，根据 Critic 的价值估计计算每个步骤的优势，并使用此信息调整 Actor 的策略（以偏爱高优势行动）和 Critic 的价值预测。对全局网络的更新是异步进行的，这意味着 worker 无需等待其他 worker 完成即可贡献其梯度，从而避免了同步延迟。
A3C 的设计提供了实际的好处。通过并行运行多个智能体，它解除了训练数据的关联性，与单线程方法相比提高了稳定性。例如，在训练机器人导航时，每个 worker 可能探索环境的不同部分，从而确保多样化的经验。异步更新还能够有效利用硬件，因为 worker 可以在多个 CPU 核心上运行。开发人员可以使用 TensorFlow 或 PyTorch 等框架实现 A3C，方法是为 worker 定义单独的线程并共享一个全局网络。尽管后来出现了更新的算法，但 A3C 仍然是可扩展、稳定强化学习的基础方法，尤其是在可以进行并行化的环境中。