典型的 Sentence Transformer 模型，例如 Sentence-BERT (SBERT)，旨在为句子或短文本生成密集的向量表示（嵌入）。 该架构构建在预训练的 Transformer 模型（如 BERT）之上，但对其进行了修改，以高效地生成句子级别的嵌入。 SBERT 没有使用 BERT 的原始输出（BERT 在 token 级别处理文本），而是在 Transformer 之后添加了一个池化层，以将 token 嵌入聚合为固定大小的句子表示。 此池化步骤通常使用平均或最大池化，或者利用 [CLS] token 的输出，尽管平均池化通常因其简单性和有效性而受到青睐。 然后，使用对比或三重损失目标对模型进行微调，以确保语义相似的句子具有更接近的嵌入。
Sentence-BERT 的核心创新在于其在训练期间使用 Siamese 或三重网络结构。 例如，在 Siamese 设置中，两个输入句子通过相同的基于 BERT 的编码器进行处理，并使用余弦相似度损失或其他距离指标比较它们的池化嵌入。 如果使用三元组（锚点、正例、负例）进行训练，则模型会学习最小化锚点和正例之间的距离，同时最大化锚点和负例之间的距离。 这种方法对于语义文本相似度 (STS) 等任务特别有效，其目标是根据句子含义的对齐程度对句子进行排序。 例如，SBERT 可能会在斯坦福自然语言推理 (SNLI) 语料库等数据集上进行训练，该语料库提供带有蕴含、矛盾或中性等关系的标记句子对。
在实践中，开发人员可以通过调整训练目标或池化策略来调整 SBERT 以适应特定的用例。 例如，如果目标是信息检索，则可以使用查询和相关文档对，使用对比损失对模型进行微调。 最终的嵌入通常是 768 维的（与 BERT-base 匹配），可以直接用于聚类（使用 k-means）或分类（通过在顶部添加一个轻量级分类器）等任务。 与 Vanilla BERT 相比，Vanilla BERT 需要昂贵的成对计算才能完成相似性任务，而 SBERT 只需预先计算一次句子嵌入，从而可以进行高效的大规模比较。 这种架构平衡了性能和实用性，使其广泛应用于语义搜索、重复检测和推荐系统等应用。