Sentence Transformers 是专门设计的模型，用于生成句子或文本片段的密集向量表示（嵌入），从而支持语义相似度比较、聚类或检索等任务。它们与 GPT 等大型语言模型 (LLMs) 共享基础架构，因为两者都依赖于基于 Transformer 的组件。然而，它们的目标不同：Sentence Transformers 专注于为下游任务生成有意义的嵌入，而 GPT 风格的模型则优先进行文本生成。例如，像 all-MiniLM-L6-v2 这样的 Sentence Transformer 可能会将句子映射到针对相似度搜索优化的 384 维向量，而 GPT-4 则通过按顺序预测 token 来生成连贯的段落。这种目的上的区别决定了它们的训练和部署方式。
Sentence Transformers 和 LLMs 的关系在于它们共享的 Transformer 骨干网络。许多 Sentence Transformers 从预训练的基础模型（例如 BERT 或 RoBERTa）开始，并使用对比学习目标进行微调。例如，像 sentence-transformers/all-mpnet-base-v2 这样的模型源自 BERT，但在 SNLI 或 MS MARCO 等数据集上进行训练以提高嵌入质量。相比之下，GPT 模型是在庞大的通用语料库上进行自回归训练（预测下一个词）。虽然两者都使用注意力机制，但 Sentence Transformers 在训练期间通常采用 Siamese/Triplet 网络等技术来优化嵌入任务，而 GPT 的架构则专为顺序生成而设计。
Sentence Transformer 模型通常比通用 LLMs 更小、更专业。例如，all-MiniLM-L6-v2 有 2200 万个参数，而 GPT-3 有 1750 亿个参数。这种更小的尺寸反映了它们的重点：嵌入模型优先考虑实时用例（例如搜索引擎或推荐系统）的效率，并能以更小的容量实现强大的性能。它们的专业性来自于对特定领域数据集（例如法律文件或医学文本）或面向任务的目标（例如最大化释义的余弦相似度）的微调。虽然 GPT 模型可以处理代码生成或故事编写等广泛任务，但 Sentence Transformer 则针对更窄的范围进行了优化，这使得它在以嵌入为中心的工作流程中部署更快、成本更低。