小样本学习算法通过利用先验知识或结构假设，使模型能够使用非常有限的标注样本执行任务。三种广泛使用的方法是模型无关元学习 (MAML)、原型网络 (Prototypical Networks) 和匹配网络 (Matching Networks)。每种方法都通过独特的方式解决从小数据集学习的挑战，在实际应用中平衡了灵活性、效率和简易性。
模型无关元学习 (MAML) 训练模型快速适应新任务。MAML 不专注于单一任务，而是在训练期间让模型接触许多相关任务。对于每个任务，模型在一个小的支持集上执行少量梯度更新，并在查询集上进行评估。核心思想是优化模型的初始参数，以便这些快速更新能产生强大的性能。例如，在图像分类中，MAML 可以通过在多样化物种上训练的基础模型上进行微调，仅用五个样本就能学会识别新的动物物种。开发者通常使用神经网络实现 MAML，并使用 PyTorch 或 TensorFlow 等框架来自动化任务采样和嵌套优化。
原型网络 (Prototypical Networks) 通过将新样本与类别原型进行比较来简化小样本学习。每个类别原型是其支持样本的平均嵌入。在推理过程中，模型计算测试样本与所有原型之间的距离（例如，欧氏距离或余弦距离），并将样本归类到距离最近的原型所属的类别。当类别在嵌入空间中可分离时，这种方法效果很好。例如，在文本分类中，原型可以代表标记为“投诉”或“询问”的句子的平均向量，使模型能够用极少的样本对新句子进行分类。原型网络计算效率高，避免了复杂的元学习设置，使其适用于资源有限的项目。
匹配网络 (Matching Networks) 结合嵌入和注意力机制，在预测查询标签时权衡支持样本。模型将支持样本和查询样本编码到共享空间中，然后使用注意力机制计算查询与每个支持实例之间的相似度得分。这些得分决定了每个支持样本对查询预测标签的影响程度。例如，在医疗诊断系统中，匹配网络可以通过将患者症状与少数有记录的病例进行比较来识别罕见疾病。这种方法很灵活，适用于大小可变的支持集，但需要仔细设计嵌入和注意力函数，以确保有意义的比较。Hugging Face Transformers 等库提供了将基于注意力的模型应用于此类任务的工具。