嵌入通过将数据映射到结构化、语义上有意义的表示中，在使模型能够处理少样本和零样本学习场景方面发挥着关键作用。 在这两种情况下，嵌入都充当原始输入（如文本或图像）与模型从有限或没有标记的示例中进行泛化的能力之间的桥梁。 通过将数据转换为密集的数值向量，嵌入捕获了潜在的模式和关系，使模型即使在训练数据稀缺时也能比较和推理新的输入。
在少样本学习中，嵌入允许模型利用少量标记示例和新的、未见过的数据之间的相似性。 例如，使用嵌入进行微调的语言模型可以通过测量新文本的嵌入与标记示例的嵌入的匹配程度，仅使用几个样本对稀有文本类别进行分类。 在计算机视觉中，像 Siamese Networks 这样的模型使用嵌入来比较图像特征——例如，仅使用每个类别五个训练图像来区分犬种。 关键在于，嵌入空间对语义上相似的项目进行聚类，因此即使是极少的示例也为模型泛化提供了有意义的参考。
对于零样本学习，嵌入使模型能够通过将输入与外部知识或元数据对齐来处理没有标记数据的任务。 例如，CLIP（对比语言-图像预训练）将图像和文本描述映射到共享的嵌入空间。 这允许它通过将图像嵌入与类别名称的文本嵌入进行比较来将图像分类为未见过的类别（例如，“斑马”），即使“斑马”从未成为其训练标签的一部分。 类似地，在 NLP 中，像 BERT 这样的模型可以通过理解嵌入中编码的语义意图，将提示的嵌入（例如，“将英语翻译成法语：‘猫’”）与预期的输出相关联。 通过构建嵌入以反映跨模态或任务的关系，模型可以在没有直接训练示例的情况下执行全新的操作。