OpenAI 中的强化学习 (RL) 指的是一种机器学习方法，其中代理通过与环境互动来学习做出决策，以最大化累积奖励。与依赖标注数据集的监督学习或寻找数据模式的无监督学习不同，强化学习侧重于试错式学习。代理在开始时没有先验知识，通过接收奖励或惩罚形式的反馈，随着时间推移改进其行为。OpenAI 已将强化学习应用于训练模型，以执行游戏（例如 Dota 2 机器人）、机器人控制和模拟环境等任务。例如，尽管 OpenAI 的 GPT-3 和后续模型的核心训练涉及其他方法，但可以使用强化学习技术对其进行微调，使其输出与人类偏好保持一致。
在实践中，强化学习涉及定义三个关键组成部分：代理（决策者）、环境（代理操作的上下文）和奖励信号（表示成功或失败的数值）。代理根据其当前策略（一种选择行动的策略）采取行动，并观察由此产生的状态变化和奖励。随着时间的推移，它调整其策略，优先选择能产生更高奖励的行动。例如，在训练模拟机器人行走时，代理可能会因为向前移动而获得正奖励，因为跌倒而获得负奖励。像 OpenAI 开发的近端策略优化 (PPO) 等算法常用于在确保稳定学习的同时有效更新策略。像 OpenAI Gym 这样的工具提供了标准化环境（例如 Atari 游戏、机器人模拟），开发人员可以在其中测试和衡量强化学习算法的性能。
强化学习中的一个主要挑战是平衡探索（尝试新行动）和利用（使用已知有效行动）。过度探索会减慢学习速度，而过度利用则可能错过更好的策略。OpenAI 通过熵正则化等技术解决这个问题，该技术鼓励代理在行动中保持一定的随机性。强化学习还需要大量的计算资源，因为代理通常需要数百万次试验才能掌握复杂任务。尽管存在这些挑战，强化学习已在自主系统和自适应人工智能等领域取得了突破。例如，OpenAI 在机器人操纵方面的工作表明，强化学习如何通过模拟练习来训练机器人执行精确任务，例如解决魔方。通过开源 Gym 和 Baselines 等工具，OpenAI 使强化学习更容易获得，允许开发人员试验这些方法并将其扩展到现实世界应用。