嵌入中的迁移学习是一种技术，它将预训练的数据向量表示（嵌入）——例如文本、图像或其他结构化输入——重新用于或适应新的任务。嵌入将数据映射到一个数值空间中，在这个空间里，相似的项目（例如，具有相关含义的词语或同一物体的图像）彼此之间的距离更近。迁移学习利用在大型通用数据集上训练的嵌入，来启动使用较小或特定领域数据集的任务，从而节省时间和计算资源。
例如，在自然语言处理（NLP）中，Word2Vec、GloVe 或 BERT 等模型通过分析大量文本语料库中的模式来生成词嵌入。这些嵌入捕获语义关系，例如识别“king”（国王）和“queen”（王后）与王室有关。开发者不必从头开始为情感分析等新任务训练嵌入，而是可以使用这些预训练向量作为输入特征。然后在训练过程中对它们进行轻微微调，使通用嵌入适应任务的具体需求（例如，检测积极或消极情绪）。类似地，在计算机视觉中，来自 ResNet 或 VGG 等模型（在 ImageNet 等大型图像数据集上训练）的图像嵌入可以重新用于在医学扫描中检测特定物体等任务，即使原始训练数据不包含医学图像。
这种方法很实用，因为训练高质量的嵌入需要大量数据和计算能力，而这是许多团队所缺乏的。通过使用预训练的嵌入，开发者可以避免重复造轮子，并专注于针对其特定问题调整模型。例如，构建聊天机器人的开发者可以使用 BERT 嵌入来理解用户意图，然后添加几层来将查询分类到“预订”或“支持”等类别中。关键在于平衡重用和定制：虽然嵌入提供了坚实的基础，但通常需要进行一些微调才能使其与目标任务对齐。像 TensorFlow Hub、Hugging Face Transformers 或 PyTorch 的 TorchVision 这样的库使得将这些预训练嵌入集成到新模型中变得非常容易。