嵌入通过使模型能够跨不同任务重复使用学习的数据表示来支持迁移学习。嵌入是一种紧凑的向量表示，它以一种可以推广到原始训练任务之外的方式捕捉数据的基本特征，如单词、图像或用户行为。通过在大型数据集上预训练嵌入，模型可以利用这些丰富的、抽象的表示作为新任务的起点，从而减少对大量特定于任务的数据或训练时间的需求。这种方法之所以有效，是因为嵌入编码了底层的模式（例如，单词之间的语义关系或图像中的视觉特征），这些模式通常在相关问题中很有用。
例如，在自然语言处理 (NLP) 中，像 BERT 或 Word2Vec 这样的模型会生成词嵌入，根据单词在大型文本语料库中的上下文将单词映射到向量。这些嵌入捕获语义相似性——像“国王”和“女王”这样的词最终会在向量空间中靠得很近。当为情感分析等新任务微调模型时，开发人员可以使用这些预训练的嵌入来初始化模型，而不是随机向量。该模型已经“理解”基本的语言结构，因此需要较少的示例来适应新任务。同样，在计算机视觉中，来自像 ResNet 这样的模型（在 ImageNet 上预训练）的嵌入可以被重新用于像医学图像分类这样的任务。这些模型的早期层检测边缘、纹理和形状——这些特征具有广泛的适用性——而只需要重新训练最后一层。
效率的提高是显着的。嵌入降低了原始数据的维度，使模型在计算上更轻，并且不易在小型数据集上过度拟合。例如，推荐系统可以使用来自预训练模型的用户交互嵌入来引导一个像个性化搜索这样的新功能，而无需从头开始重建表示。开发人员还可以组合来自多个来源（文本、图像）的嵌入以用于多模态任务。至关重要的是，嵌入将表示学习与特定于任务的训练分离，从而允许团队共享和重用基础组件。这种模块化简化了实验和部署，因为嵌入充当了跨项目的即插即用构建块。