Unity ML-Agents 是 Unity Technologies 开发的开源工具包，使开发者和研究人员能够使用机器学习 (ML) 技术创建和训练智能代理。 这些代理在 Unity 的 3D 模拟环境中运行，通过试错法学习执行任务，并由强化学习 (RL) 算法指导。 该工具包通过允许代理与虚拟环境交互、收集数据和随着时间的推移改进其行为来连接游戏开发和 ML。 它支持各种 ML 方法，包括近端策略优化 (PPO)、软演员-评论家 (SAC) 和模仿学习，并与 TensorFlow 或 PyTorch 等 ML 框架集成以训练模型。 这使得熟悉 Unity 但在 ML 方面经验较少的开发者可以轻松使用，同时也为高级用户提供了灵活性。
ML-Agents 的一个主要用例是训练游戏中的非玩家角色 (NPC) 以进行动态适应。 例如，NPC 可以通过获得到达目标的奖励和碰撞的惩罚来学习导航复杂的迷宫。 同样，在机器人模拟中，虚拟机器人手臂可以通过反复试验学习抓取物体，从而避免物理实验的成本和风险。 该工具包还支持课程学习，其中任务从简单开始并逐渐增加难度。 例如，自动驾驶汽车模拟可能会首先教代理遵循一条直路，然后再引入转弯或障碍物。 开发者可以将 RL 与模仿学习相结合，代理模仿人类演示来引导训练，从而减少学习基本行为所需的时间。
从技术角度来看，ML-Agents 通过 Unity 组件和基于 Python 的训练工作流程相结合来运行。 开发者使用 Unity 中的 C# 脚本定义代理，指定观察（例如，传感器数据）、动作（例如，移动）和奖励。 然后，Python API 通过与 Unity 可执行文件通信、运行情节和优化策略来处理训练。 训练后，生成的模型（例如，神经网络）被嵌入回 Unity 以进行推理。 像 TensorBoard 这样的工具允许跟踪训练指标，例如奖励曲线或损失值。 该工具包的模块化设计还支持自定义算法，使其适用于研究。 例如，一个团队可以修改奖励函数，以优先考虑无人机模拟中的能源效率，或者为多代理竞赛场景添加新的观察类型。 这种可用性和自定义的平衡使得 ML-Agents 成为在交互式应用程序中原型设计和部署 ML 驱动行为的实用工具。