对比学习和三元组损失等训练目标指导 Sentence Transformers 生成嵌入，从而使语义相似的句子在向量空间中更接近，而相异的句子则更远。 这些方法通过比较示例来构建学习过程，从而完善模型对相似性的理解。 例如，对比学习使用成对的句子（正例或负例）来调整嵌入，而三元组损失则对示例的三元组（锚点、正例、负例）进行操作，以强制执行基于边距的分离。 两种方法都依赖于余弦相似度等距离度量来量化句子之间的关系。
在实践中，对比学习通过最小化正例对之间的距离并最大化负例对之间的距离来训练模型。 例如，给定一对释义（正例），如“The quick brown fox”和“A fast dusky fox”，该模型会减小它们的嵌入距离。 相反，对于像“The quick brown fox”和“A slow gray turtle”这样的负例对，它会增加距离。 三元组损失通过使用三个输入来扩展这一点：锚点（“A happy person”）、正例（“Someone feeling joyful”）和负例（“A sad individual”）。 损失函数确保锚点比负例更接近正例，两者相差一个预定义的边距。 从数学上讲，三元组损失定义为 max(d(anchor, positive) - d(anchor, negative) + margin, 0)，其中 d 测量距离。 这迫使模型创建一个清晰的相似性层次结构。
在 Sentence Transformers 中实现这些目标的开发人员通常使用 sentence-transformers 等库，这些库抽象掉了大部分复杂性。 对于对比学习，暹罗网络结构通过相同的编码器处理对，计算相似性分数。 对于三元组损失，三元组被编码，并将损失应用于它们的距离。 关键考虑因素包括选择适当的边距（例如，0.5）、挖掘硬负例（接近锚点的具有挑战性的示例）以及构建包含不同示例的批次。 例如，对自然语言推理 (NLI) 数据进行训练可能会使用蕴含对作为正例，而使用矛盾对作为负例。 通过将这些技术与其数据和用例对齐，开发人员可以针对语义搜索或聚类等任务微调模型，在这些任务中，精确的相似性判断至关重要。