少样本学习通过使机器学习模型能够使用非常有限的标记示例来适应新任务，从而解决数据稀缺问题。 它不需要数千个标记的样本，而是利用来自相关任务或领域的先验知识，以最少的数据有效地泛化。 这是通过诸如迁移学习之类的技术实现的，在这种技术中，在广泛的数据集上预训练的模型会在小型目标数据集上进行微调；以及元学习，在这种技术中，模型通过学习如何学习来被训练以快速适应新任务。 通过专注于有效利用现有知识，少样本学习降低了对大型标记数据集的依赖性。
例如，在自然语言处理 (NLP) 中，像 BERT 这样的模型，在通用文本语料库上预训练，可以使用每类仅 5-10 个标记示例进行微调，以用于情感分析或命名实体识别等任务。 同样，在计算机视觉中，在 ImageNet 上预训练的模型可以通过调整其最终层来识别只有少量图像的新对象类别。 诸如模型无关元学习 (MAML) 之类的元学习框架通过训练模型以适应训练期间未见过的任务，从而进一步发展了这一点。 这些方法之所以有效，是因为该模型的基础理解（从先前数据中获得）提供了一个起点，仅需要对新任务进行少量调整。
从开发人员的角度来看，实施少样本学习通常涉及使用预训练的模型和库，如 Hugging Face Transformers 或 PyTorch 的 TorchVision。 例如，为了自定义文本分类任务而微调类似 GPT-3 的模型可能需要在提示中提供一些标记的示例，并让模型推断模式。 但是，成功取决于选择具有代表性的示例，并确保预训练数据与目标任务对齐。 挑战包括避免对有限数据过度拟合以及处理示例未涵盖的边缘情况。 诸如数据增强（例如，旋转图像或释义文本）之类的工具可以帮助多样化小型数据集。 虽然不是通用的解决方案，但当收集大型数据集不可行时，少样本学习是一种实用的方法。