在自监督学习 (SSL) 中，嵌入（Embeddings）是数据的紧凑数值表示，用于捕获本质特征或模式。 它们的主要作用是使模型能够通过将原始输入（如文本、图像或音频）转换为较低维度空间中的向量来学习未标记数据中的有意义的关系。 这些嵌入充当原始数据与模型的泛化能力之间的桥梁，使下游任务（例如，分类或聚类）能够有效地利用预先训练的知识。 例如，在自然语言处理 (NLP) 中，嵌入可以用保留语义相似性的方式来表示单词或句子，从而使模型更容易检测同义词或上下文含义等关系。
嵌入在 SSL 中的一个关键用例是在对比学习框架中。 在这里，模型通过比较数据点的对来学习。 例如，在计算机视觉中，SSL 模型可能会为同一图像的两个增强版本（例如，裁剪或旋转）生成嵌入，并训练使它们的嵌入相似，同时将不同图像的嵌入推开。 这迫使模型编码高级特征（如对象形状）而不是表面细节。 类似地，在 NLP 中，像 BERT 这样的模型通过预测句子中被屏蔽的词来创建嵌入。 生成的嵌入捕获上下文关系，使模型能够理解“river bank”中的“bank”与“bank account”的不同，基于周围的词。 这些嵌入成为情感分析或命名实体识别等任务的可重用特征。
嵌入还减少了对标记数据的依赖。 由于 SSL 在未标记的数据集上进行训练，因此嵌入封装了通用知识，可以使用最少的标记示例进行微调。 例如，通过 SSL 在数百万张未标记图像上预训练的视觉模型可以生成嵌入，从而帮助医学图像分类器仅用几百张标记的 X 光片实现高精度。 此外，嵌入使高效计算成为可能。 下游任务不是重复处理原始像素或文本标记，而是在较小的、语义丰富的嵌入向量上运行。 这种压缩和保留信息之间的平衡使嵌入成为 SSL 工作流程中的基础组件，直接影响模型性能、可伸缩性和跨域适应性。