少样本学习通过利用专门的训练策略、架构设计和先验知识来有效泛化，从而解决过拟合问题。由于传统的机器学习模型在小数据集上通常会失败——记住例子而不是学习模式——少样本方法侧重于将适应性构建到模型本身中。这通过元学习、数据增强和迁移学习等技术来实现，这些技术帮助模型提取更广泛的模式，而无需依赖大型训练集。
一种关键方法是元学习，其中模型在许多相关的任务上进行训练，每个任务都有自己的小数据集。例如，与模型无关的元学习 (MAML) 在训练期间将模型暴露于不同的任务，迫使其学习一种灵活的初始化，只需几个例子即可快速适应新任务。这种方法通过强调适应性来防止过度拟合到任何单个任务。类似地，像原型网络这样的架构创建嵌入，其中示例按类聚集，从而能够基于与从少量示例派生的原型相似性进行分类。这些设计通过专注于关系模式而不是记忆数据来固有地限制过拟合。
另一种策略涉及使用针对小数据集量身定制的正则化和数据增强。例如，在基于图像的少样本学习中，像旋转、裁剪或颜色抖动这样的技术人为地扩展了数据集的多样性。在 NLP 中，同义词替换或反向翻译可以生成文本输入的变体。此外，像 dropout 或权重正则化（例如，L2 归一化）这样的技术限制了模型的复杂性。预训练模型也起着至关重要的作用：像 BERT 或 ResNet 这样在海量数据集上训练的模型提供了强大的先验知识。当在少样本任务上进行微调时，仅更新一部分参数（例如，适配器或提示层），从而保留一般知识，同时适应新数据。例如，通过重用学习到的视觉特征，一个预训练的视觉模型可以通过每个类仅五个示例来对稀有动物物种进行分类，并通过参数高效的更新来避免过拟合。这些组合方法使少样本模型能够在数据有限的情况下稳健地泛化。