小样本学习是一种机器学习方法，其中模型仅使用少量带标签的示例来学习执行任务。与需要大型数据集才能获得良好性能的传统方法不同，小样本学习侧重于利用先验知识，通过最少量的数据快速适应新任务。这在收集或标记数据成本高昂、耗时或不切实际的情况下尤其有用。其核心思想是训练模型通过构建预先存在的知识来识别模式或从有限的信息中进行泛化，通常通过迁移学习或专门为数据效率设计的模型架构等技术实现。
小样本学习的一个常见例子是图像分类。假设一个模型已经在像 ImageNet 这样的广泛数据集上进行了训练，该数据集包含数千个对象类别。使用小样本技术，该模型以后可以学习区分新的类别——比如，不同的鸟类——每个物种只有少量的带标签的图像。另一个例子是在自然语言处理中，一个在大型文本语料库上预训练的语言模型可以适应诸如翻译稀有语言对或回答特定领域的问题等任务，只需要几个例子。这些场景突出了小样本学习如何将重点从海量数据集转移到智能地重用先前学习的知识，从而在现实世界的应用中实现灵活性。
实现小样本学习的开发人员通常使用诸如度量学习等技术，其中模型学习测量输入之间的相似性，或者使用基于优化的方法，如与模型无关的元学习 (MAML)，该方法微调模型以快速适应新任务。挑战包括设计能够在不使小数据集过度拟合的情况下平衡泛化的架构，并确保预训练的知识与目标任务对齐。例如，如果特征表示太不相似，在医学图像上预训练的模型可能难以进行卫星图像的小样本学习。尽管存在这些障碍，但小样本学习在医疗保健、机器人或客户支持等数据稀缺领域中非常有用。通过专注于高效的知识转移，它可以减少对大型标记数据集的依赖，同时保持实际准确性。