多智能体强化学习 (MARL) 系统涉及多个自主智能体在共享环境中学习做出决策。 每个智能体与环境和其他智能体交互，旨在通过试错优化其自身或集体目标。 与单个智能体独立运行的单智能体 RL 不同，MARL 引入了智能体之间的协调、竞争和通信等复杂性。 例如，在交通控制系统中，自动驾驶车辆（智能体）可能会协作以最大限度地减少拥堵，而在像扑克这样的游戏中，智能体可能会竞争以击败对手。 关键的区别在于，智能体的行为不仅会影响它们自身的状态，还会影响其他智能体的状态和奖励，从而产生动态的相互依赖性。
MARL 的一个主要挑战是环境的非平稳性。 在单智能体 RL 中，一旦智能体的策略稳定，环境的行为就会固定。 在 MARL 中，其他智能体也在学习和适应，这使得环境变得不可预测。 这会导致训练期间的不稳定性，因为智能体必须不断适应彼此不断发展的策略。 另一个问题是信用分配：确定哪个智能体的行为促成了共同的结果。 例如，在负责移动物体的合作机器人团队中，不清楚哪个机器人的运动对于成功最为关键。 此外，随着智能体数量的增长，可扩展性成为一个问题——状态和行动空间呈指数级扩展，增加了计算需求。 集中训练与分散执行（例如，MADDPG）或参数共享等技术可以缓解这些问题，但需要仔细设计。
MARL 的实际应用涵盖了不同的领域。 在机器人技术中，无人机团队可能会使用 MARL 来协调搜索和救援任务。 在经济学中，MARL 模型模拟具有竞争交易者的市场。 一个值得注意的例子是 AlphaStar，它通过训练多个智能体来处理不同的策略，从而掌握了复杂的星际争霸 II游戏。 实施 MARL 的开发人员通常使用 RLlib 或 PyMARL 等框架，这些框架支持分布式训练和多智能体环境。 关键算法包括 QMIX（将单个智能体 Q 值混合到全局价值函数中）和 Nash Q-Learning（用于竞争场景）。 在构建 MARL 系统时，开发人员必须决定智能体是合作、竞争还是表现出混合行为，并相应地构建奖励和通信协议。 首先在简化的环境中（如网格世界模拟）进行测试有助于验证协调策略，然后再进行扩展。