强化学习 (RL) 中的小样本学习使智能体能够通过利用先前的知识，使用最少的示例快速适应新任务。在传统的 RL 中，智能体通过环境中的反复试验来学习，通常需要数百万次的交互才能掌握一项任务。 小样本 RL 通过在元学习阶段训练智能体完成一组相关任务来减少这种情况，从而使其能够通过少量的试验来推广到未见过的任务。 例如，经过训练可以导航各种迷宫的智能体，可以通过利用从早期环境中学习到的模式，在尝试几次后适应新的迷宫布局。 这种方法依赖于智能体提取可重复使用的策略而不是记忆特定解决方案的能力。
从技术上讲，小样本 RL 通常依赖于像与模型无关的元学习 (MAML) 这样的元学习算法。 在元训练期间，智能体会接触到多个任务，每个任务都需要不同的但相关的行为。 该算法优化了智能体的初始参数，以便通过来自新任务的几个示例进行小的调整（通过梯度步骤）即可产生良好的性能。 例如，经过训练可以操作不同物体的机器人手臂可能会学习一种基本策略，该策略可以在看到几个演示后快速适应以拾取新物体。 智能体的策略网络旨在编码与任务无关的特征，从而实现快速微调。 这与标准的 RL 形成对比，在标准 RL 中，策略与单个任务的动态紧密耦合。
实施小样本 RL 需要仔细的设计。 首先，训练任务必须足够多样化以鼓励泛化，但要共享底层结构。 例如，在具有不同规则但目标相似（例如，资源收集）的多个级别上训练游戏智能体，可以帮助它更快地适应新的级别。 其次，在小样本阶段平衡探索和利用至关重要——智能体必须从有限的交互中收集足够的信息，而不会浪费试验。 像 RLlib 这样的框架或自定义的元 RL 实施可以帮助管理任务采样和策略更新。 虽然前景广阔，但仍然存在挑战，例如处理与训练分布差异很大的任务或扩展到高维环境。 开发人员可以从试验元 RL 库和小型环境开始，以测试适应能力，然后再将该方法应用于复杂问题。