机器人通过强化学习 (RL) 从环境中学习，通过迭代地试验动作并根据反馈改进其行为。在 RL 中，机器人（代理）通过采取行动、观察由此产生的状态变化以及接收作为反馈的奖励或惩罚来与其环境交互。 目标是学习策略——一种选择行动的策略——在一段时间内最大化累积奖励。例如，学习抓取物体的机器人手臂可能会因成功抓取而获得正向奖励，而因掉落物体而获得负向奖励。经过多次试验，机器人会调整其动作以获得更高的奖励，从而通过试错有效地学习。
RL 的一个关键组成部分是奖励函数，它定义了机器人应该优化什么。开发人员设计此函数是为了与任务的目标保持一致。例如，导航迷宫的机器人可能会因靠近目标而获得奖励，而因碰撞而受到惩罚。然后，使用 Q-learning 或策略梯度等算法来更新机器人的策略。在 Q-learning 中，机器人构建一个表（Q 表），估计在给定状态下每个动作的长期价值，逐渐改进其选择。对于具有高维输入（例如，摄像头馈送）的复杂任务，深度 RL 方法（如深度 Q 网络 (DQN)）使用神经网络来近似 Q 表，使机器人能够处理原始感官数据。探索与利用——平衡尝试新动作与依赖已知的良好动作——通过诸如 epsilon-greedy 策略或熵正则化等技术来管理。
实际实施涉及样本效率和安全性等挑战。机器人通常需要数千次试验才能有效地学习，这在现实环境中非常耗时。 为了解决这个问题，开发人员使用模拟器（例如，MuJoCo、Gazebo）来预训练策略，然后再将其转移到物理硬件。安全机制，例如基于约束的 RL 或人工监督，可防止训练期间的有害行为。例如，学习走路的双足机器人可能会在模拟环境中开始，模拟软着陆以避免硬件损坏。 TensorFlow、PyTorch 或 RL 特定库（例如，RLlib、Stable Baselines3）等框架提供了实现这些算法的工具。通过结合清晰的奖励设计、高效的探索和迭代改进，机器人可以自主适应动态环境，例如调整脆弱物体的抓握力或绕过障碍物重新规划路径。