对比学习通过训练模型来区分相似和不相似的数据点，从而生成嵌入向量。核心思想是学习一个表示空间，其中相似的例子（正样本对）被拉得更近，而不相似的例子（负样本对）被推得更远。这是通过一个直接比较数据点对的损失函数来实现的，该损失函数鼓励模型对有意义的相似性进行编码。例如，在图像任务中，同一图像的两个增强版本（例如，裁剪、旋转或颜色调整）构成一个正样本对，而来自不同类别的图像用作负样本对。该模型调整其参数，以最小化正样本对之间的距离，并最大化嵌入空间中负样本对的距离。
该过程通常涉及三个组成部分：数据增强策略、编码器网络和对比损失函数。编码器（例如，用于图像的卷积神经网络或用于文本的 transformer）将原始输入转换为密集的向量表示（嵌入向量）。数据增强确保正样本对尽管存在表面差异，但仍保持语义一致性。例如，在 SimCLR（一种流行的对比学习框架）中，随机裁剪、颜色失真和高斯模糊被应用于创建正样本对。然后，对比损失（例如 NT-Xent 损失）计算嵌入向量之间的相似度得分——通常使用余弦相似度。如果一批中的正样本对相对于负样本对不够相似，则损失会惩罚模型。这迫使编码器捕获不变特征（例如，图像中的对象形状），同时忽略增强引入的噪声。
对比学习的一个关键优势是它能够有效地利用未标记的数据。例如，在 NLP 中，像 Sentence-BERT 这样的模型使用对比学习来生成句子嵌入向量，方法是训练语义相关的句子对（例如，释义）作为正样本，不相关的句子作为负样本。然后，可以将生成的嵌入向量用于诸如语义搜索或聚类之类的任务，而无需针对特定任务进行微调。然而，挑战包括选择有意义的增强方法以及管理由于需要足够负样本的大批量而产生的计算成本。尽管存在这些权衡，但对比学习为跨领域学习稳健、可转移的嵌入向量提供了一个灵活的框架。