Sentence Transformers 用于生成文本的密集向量表示，通常在强调句子之间语义关系的数据集上进行训练。最常用的数据集包括 斯坦福自然语言推理 (SNLI) 语料库、语义文本相似度 (STS) 基准测试及其扩展，如 多领域 NLI (MNLI)。这些数据集提供带标签的句子对，使模型能够学习如何将语义相似的句子在嵌入空间中映射得更近，同时将不相似的句子推开。例如，SNLI 包含 570,000 对句子，标签为 蕴含 (entailment)、矛盾 (contradiction) 或 中立 (neutral)，这有助于模型理解逻辑关系。STS 数据集（例如 STS Benchmark、STS 2012-2016）提供带有相似度得分（0-5）的句子对，允许模型针对连续相似度匹配进行优化。其他数据集，如 AllNLI（SNLI 和 MNLI 的组合）或 Quora Question Pairs（400,000 对潜在重复问题），也广泛用于提高模型在不同文本类型上的泛化能力。
训练通常通过多任务学习结合使用这些数据集。例如，模型可能首先使用基于分类的目标（例如，交叉熵损失）从 NLI 数据（SNLI、MNLI）中学习，以区分蕴含、矛盾或中立。这有助于模型捕获高层语义关系。接着，使用 STS 数据通过基于回归的目标（例如，均方误差）对嵌入进行微调，使嵌入的余弦相似度与人工标注的相似度得分对齐。一些流水线还包含对比学习，其中根据 NLI 标签构建句子三元组（锚点句、正例句、负例句），模型学习最小化锚点句和正例句之间的距离，同时最大化其与负例句之间的距离。这种结合分类和连续标签的混合方法确保了嵌入足够通用，适用于聚类、检索或语义搜索等任务。
除了这些核心数据集，有时还会添加领域特定或更大的语料库以扩大覆盖范围。例如，可以使用 维基百科 (Wikipedia) 或 MS MARCO（一个大规模搜索数据集）让模型接触非正式查询或事实内容。然而，SNLI、STS 和 MNLI 对于通用嵌入仍然至关重要，因为它们为语义关系提供了清晰的人工标注信号。训练 Sentence Transformer 时，开发者通常从这些数据集开始，并可选择使用任务特定数据进行增强。例如，流行的 all-mpnet-base-v2 模型就是基于 SNLI、MNLI、STS 和其他 NLI 数据训练的，这证明了它们在生成鲁棒嵌入方面的有效性。关键是平衡多样性（多种类型、文本长度）和标注质量，以确保模型在各种用例中都能很好地泛化。