多智能体系统（MAS）通过让多个自主智能体在与环境和彼此的交互中学习并调整行为，从而与强化学习（RL）集成。在传统的 RL 中，单个智能体学习一个策略以最大化累积奖励，但在 MAS 中，智能体必须考虑其他智能体的行为和学习过程。这创建了一个动态环境，其中智能体的决策不仅影响自身的奖励，还影响其他智能体的奖励。例如，在像仓库机器人协调移动包裹这样的协作任务中，每个机器人（智能体）使用 RL 来优化路径同时避免碰撞，这需要了解其他智能体的移动。在竞争场景（如游戏 AI）中，智能体可能通过预测对手的策略来学习智取对手。
将 MAS 和 RL 结合的一个关键挑战是处理非平稳性——随着其他智能体学习，环境的行为会发生变化。这违反了 RL 中的马尔可夫假设，即下一个状态仅取决于当前状态和动作。为了解决这个问题，可以使用集中式训练、分布式执行（CTDE）等方法。在 CTDE 中，智能体使用全局信息（例如，所有智能体的观察）进行训练，但在部署时根据本地数据采取行动。例如，在多智能体深度确定性策略梯度（MADDPG）算法中，每个智能体都有自己的策略，但共享一个集中的评论家，该评论家根据全局状态信息评估动作。另一种方法是独立 RL，其中智能体将其他智能体视为环境的一部分，这简化了问题，但如果忽略协调，可能会导致次优结果。
实际应用包括自动驾驶汽车协调（RL 帮助智能体协商交通规则）以及分布式能源网络（智能体平衡供需）。例如，在智能电网中，每个能源生产者和消费者都可以是一个 RL 智能体，在维持电网稳定性的同时优化成本。挑战依然存在，例如扩展到大量智能体以及管理通信开销。RLlib 或 OpenAI 的 Gym 多智能体工具包等框架提供了实验工具。开发者必须仔细设计奖励结构以避免冲突——例如在协作任务中惩罚自私行为——并使用像对手建模这样的技术来预测其他智能体的策略。在 MAS 中，平衡探索和利用变得更加复杂，因为智能体的探索性动作可能会破坏系统的稳定性。