多智能体强化学习 (MARL) 是机器学习的一个分支，其中多个自主智能体通过与共享环境交互来学习做出决策。与单智能体强化学习（一个智能体优化其行为以最大化奖励）不同，MARL 涉及可能合作、竞争或独立行动的智能体。每个智能体观察环境、采取行动并根据所有智能体决策的集体结果获得奖励。 例如，在交通控制系统中，自动驾驶车辆（智能体）可能会学习协调路线以最大限度地减少拥堵，每辆车都会适应其他车辆的移动。复杂性在于智能体的行为会影响他们自己的奖励和他人的奖励，从而产生动态的相互依赖关系。
MARL 的一个主要挑战是环境的非平稳性。在单智能体设置中，环境的行为通常是可预测的，但在 MARL 中，其他智能体的学习过程会使环境不稳定。例如，如果两个机器人合作移动一个物体，每个机器人的策略会随着时间的推移而变化，需要另一个机器人不断适应。为了解决这个问题，诸如 Q 学习之类的算法已扩展到多智能体场景。一种方法是独立 Q 学习 (IQL)，将其他智能体视为环境的一部分，但这可能导致次优协调。更高级的方法，例如多智能体深度确定性策略梯度 (MADDPG)，使用集中式训练和分散式执行：智能体在训练期间共享信息，但在部署期间独立行动。这些方法平衡了个人目标和集体成果。
MARL 的应用范围涵盖机器人技术、博弈论和资源管理。在像星际争霸这样的游戏中，AI 智能体学习在团队中合作，而在能源网格中，智能体可能会优化电力分配。然而，可扩展性仍然是一个障碍——添加更多智能体会呈指数级增加计算复杂度。通信开销是另一个问题：智能体必须有效地共享信息，而不会使系统不堪重负。例如，在无人机群中，有限的带宽需要轻量级通信协议。开发人员经常使用 OpenAI 的 Gym 或 Unity ML-Agents 等仿真框架在实际部署之前对 MARL 系统进行原型设计。虽然 MARL 为解决分布式问题提供了强大的工具，但其成功取决于仔细平衡探索、合作和计算约束。