Sentence Transformers 通过结合基于 Transformer 的 Token 嵌入、池化技术和监督训练，从 BERT 或 RoBERTa 等模型生成固定长度的句子嵌入。 这些模型解决了原始 BERT 或 RoBERTa 的一个关键局限性，即它们产生可变长度的 Token 级别输出。 为了为整个句子创建一个单一的固定维度向量，Sentence Transformers 应用池化操作（例如平均 Token 嵌入）来聚合所有 Token 的信息。 这种过程通过在句子对任务上微调模型来增强，从而训练它生成有效捕获语义含义的嵌入。
技术工作流程包括三个步骤。 首先，输入句子通过 Transformer 模型（例如 BERT），为每个 Token 生成上下文嵌入。 由于 Transformer 的自注意力机制，这些嵌入受整个句子上下文的影响。 接下来，池化层将这些 Token 嵌入压缩成固定大小的向量。 最常用的方法是平均池化，其中所有 Token（不包括填充）的嵌入被平均。 例如，对于句子“Machine learning is fascinating”，模型会平均所有五个 Token 的嵌入。 另外，最大池化或使用 [CLS] Token 的嵌入（带有额外的微调）也是选项，尽管平均池化通常因其简单性和有效性而受到青睐。
关键的创新是微调过程。 与针对 Token 级别任务优化的预训练 Transformer 不同，Sentence Transformers 在句子对上使用对比损失或余弦相似度损失进行训练。 例如，在训练期间，模型可能会收到诸如（“How are you？”，“How’s it going？”）之类标记为相似的对，以及（“How are you？”，“Weather forecast today”）之类标记为不相似的对。 这教会模型调整其嵌入，以使语义上相似的句子在向量空间中更紧密地聚集在一起。 Transformer 架构、池化和特定于任务的训练的结合确保了最终的嵌入在保持语义信息的同时具有固定长度，从而可以通过余弦相似度或其他指标进行有效比较。 这种方法已被证明对于语义搜索、聚类和检索等任务非常有效，而无需复杂的后处理。