少样本学习和零样本学习都是在标记数据稀缺时训练机器学习模型的方法,但它们在利用可用信息的方式上有所不同。 少样本学习涉及使用少量的标记示例(例如,每个类别 1-10 个样本)来训练模型,以执行其需要执行的任务。 目标是通过利用来自相关任务的先验知识或更大的预训练模型,从这些有限的示例中进行泛化。 相比之下,零样本学习不需要目标任务的任何标记示例。 而是依赖于辅助信息(如文本描述、语义属性或类之间的关系)来推断如何处理未见过的数据。 主要区别在于训练期间是否存在任务特定的标记数据(少样本)或不存在(零样本)。
少样本学习的一个例子是图像分类,其中在广泛的数据集(例如,动物)上预训练的模型,通过少量的稀有物种(例如,“丹顶鹤”)图像进行微调以识别它们。 诸如度量学习(例如,Siamese 网络)或语言模型中基于提示的调优等技术可帮助模型快速适应。 对于零样本学习,考虑一个训练为识别英语评论中的情感的文本分类器。 在没有任何德语示例的情况下,它可以通过将德语文本映射到预训练期间学习的共享嵌入空间,使用跨语言语义关系来推断德语情感。 另一个例子是对象检测,其中模型使用诸如“带有电池的二轮车辆”之类的文本描述而不是标记图像来识别未见过的类别(例如,“电动滑板车”)。
两者之间的选择取决于数据可用性和问题约束。 当可以收集最少的标记数据时,少样本学习效果良好,使其适用于具有罕见病症的医学成像等利基领域。 但是,性能取决于少量示例的质量和代表性。 零样本学习适用于无法获取标记数据的情况,例如,使用文本元数据对电子商务中新兴的产品类别进行分类。 它的成功依赖于强大的辅助数据和模型泛化抽象关系的能力。 开发人员应考虑权衡:少样本方法可能需要微调基础设施,而零样本方法则需要仔细设计语义表示,以桥接已见类别和未见类别。