使用嵌入的零样本学习是一种机器学习方法，其中模型对训练期间未明确看到的类别进行预测。 这是通过利用语义嵌入来实现的 - 捕获数据点之间关系的向量表示。 例如，经过训练可以识别“猫”和“狗”等动物的模型可以通过理解“狼”与已知类别的相似性来推断新的类别。 嵌入充当已见类别和未见类别之间的桥梁，无需额外训练数据即可实现泛化。
嵌入是通过将数据（如文本或图像）映射到高维空间来创建的，在该空间中，相似的项目靠得更近。 在零样本学习中，输入数据（例如，图像）和类标签（例如，“狼”）都转换为嵌入。 例如，文本编码器可以将类名称映射到向量，而图像编码器可以将照片映射到同一空间。 在推理期间，模型将输入嵌入（例如，狼的图像）与所有类嵌入进行比较，然后选择最接近的匹配项。 这避免了重新训练，因为类之间的关系已编码在嵌入空间中。 像 CLIP（对比语言-图像预训练）这样的工具通过对齐图像和文本嵌入来使用这种方法，从而允许基于未见类别的文本描述进行图像分类。
一个实际的例子是产品分类系统。 假设一个模型经过训练，可以使用嵌入对“笔记本电脑”和“智能手机”等电子产品进行分类。 如果引入了一种新的产品类型“电子阅读器”，则即使训练数据中没有“电子阅读器”，该模型也可以通过将其嵌入与现有嵌入进行比较来推断其类别。 类似地，在 NLP 中，在常见查询上训练的聊天机器人可以通过将其嵌入与相关的已知意图（如“取消订阅”或“终止服务”）匹配来处理诸如“取消订阅”之类的新请求。 这些嵌入通常使用像 BERT 或 ResNet 这样的模型预先计算，这使得零样本学习对于需要适应性强且无需频繁重新训练的开发人员来说非常有效。