Sentence Transformers 通过利用先进的神经网络架构和训练技术来捕获语义含义，这些技术侧重于理解单词和句子之间的关系。与依赖于表面词重叠的关键词匹配方法不同，这些模型生成密集的向量表示（嵌入），编码文本背后的上下文和意图。例如，句子“猫坐在垫子上”和“猫科动物躺在地毯上”将具有相似的嵌入，尽管没有共享的关键词，因为该模型通过学习到的模式识别它们的语义等价性。
实现这一点的关键机制是 Transformer 架构，它使用自注意力来衡量句子中每个单词相对于其他单词的重要性。这使得模型能够捕获细微差别，例如否定（“不好”与“好”）、多义性（“银行”作为金融机构与河岸）以及单词之间的长程依赖关系。此外，Sentence Transformers 通常使用对比学习目标进行训练，例如多重负例排名 (MNR) 损失或三元组损失。这些技术教导模型在向量空间中聚集语义相似的句子（例如，问题及其答案），同时将不相关的句子推开。例如，在训练期间，模型可能会看到诸如（“你多大了？”、“我 25 岁”）之类的配对，并学会将它们映射到附近的嵌入。
实际实现细节也发挥着作用。像 BERT 或 RoBERTa 这样的预训练语言模型使用句子级任务在特定领域的数据集上进行微调。例如，该模型可能会处理 Wikipedia 部分，其中标题及其对应的段落被视为正对。与平均词向量的传统嵌入不同，Sentence Transformers 使用池化层（例如，令牌嵌入的平均池化）或交叉编码器来创建统一的句子表示。这使得它们能够有效地处理释义、摘要和跨语言任务。开发人员可以通过使用 sentence-transformers 库来计算语义相关但词汇不同的句子嵌入之间的余弦相似度来验证这一点，即使没有关键字匹配，也会观察到高分。