NLP 中的少样本学习是一种技术，其中机器学习模型在接触到非常少的示例后（通常只有 3 到 10 个实例）就能学习执行一项任务。与需要大量标记数据集才能有效训练的传统监督学习不同，少样本方法依赖于模型从最少输入中进行泛化的能力。 这是可能的，因为该模型通常在大量通用文本数据上进行预训练，使其能够识别模式并将它们应用于有限的额外指导的新任务。 例如，可以给模型提供三个标记的句子来演示情感分析（正面、负面、中性），然后要求它根据这些示例对新句子进行分类。
一个常见的实现涉及 提示工程，其中开发人员设计一个文本提示，其中包括任务描述、几个示例和要处理的输入。 假设您想将电子邮件分类为“紧急”、“垃圾邮件”或“一般”等类别。 一个提示可能如下所示：`对电子邮件进行分类：“会议重新安排到下午 3 点。” 示例
- “服务器宕机！” → 紧急
- “快速赚钱！” → 垃圾邮件
- “项目更新已附加。” → 一般 电子邮件：“您的发票已准备好。” →` 该模型使用这些示例来推断任务并生成标签。 另一种方法是 微调，其中使用特定于该任务的小型数据集来调整预训练模型（如 BERT 或 GPT）。 例如，开发人员可能会在每个类别五个示例上微调模型，以用于聊天机器人中的意图检测，使其能够识别用户目标，例如“预订航班”或“取消订单”。
虽然少样本学习减少了对大型数据集的依赖，但它也存在局限性。 示例的质量至关重要——选择不当或含糊不清的样本会导致不正确的概括。 例如，如果提示中所有“紧急”示例都包含感叹号，则模型可能会过度索引标点符号而不是上下文。 开发人员还必须平衡模型大小：较大的模型可以更好地处理少样本任务，但需要更多的计算资源。 诸如数据增强（例如，释义示例）或使用模板来标准化输入格式之类的技术可以提高可靠性。 在实践中，少样本学习最适合于与模型预训练密切相关的任务（例如，文本分类），而不太适合于没有足够先验知识的高度专业化的领域。