句子转换器是一种神经网络模型，旨在将句子或短语转换为固定长度的向量表示（嵌入），以捕捉它们的语义含义。 这些模型建立在 BERT 或 RoBERTa 等转换器架构之上，但经过专门的微调，可以为整个句子而不是单个单词生成嵌入。 关键创新在于它们的训练目标，该目标针对语义相似性进行优化：具有相关含义的句子被映射到嵌入空间中彼此接近的向量，而不同的句子则放置得更远。 这种方法解决了传统转换器模型的局限性，传统转换器模型侧重于单词级别的上下文，并且难以生成有意义的句子级别表示。
句子转换器解决的主要问题是需要在句子之间进行高效且准确的语义比较。 例如，语义搜索、聚类或重复检测等任务需要理解文本的整体含义，而不仅仅是关键字匹配。 在句子转换器出现之前，像 BERT 这样的模型通过平均单词嵌入通常会产生次优结果，因为它们没有考虑句子结构或细微的关系。 句子转换器通过使用对比学习等训练技术来克服这个问题，其中成对的句子（例如，一个问题及其正确答案）经过显式训练以具有相似的嵌入。 这使得它们对于诸如基于含义检索相关文档或在大型文本语料库中识别释义的应用非常有效。
它们的一个实际应用示例是在推荐系统中。 假设开发人员想要构建一个工具，该工具根据用户的查询推荐相关的文章。 使用句子转换器，他们可以将所有文章编码为嵌入，并使用余弦相似度将它们与查询的嵌入进行比较。 与分析每个单词或短语相比，这种方法在计算上是高效且可扩展的。 诸如 sentence-transformers Python 包之类的流行库提供了针对此类任务优化的预训练模型（例如，all-MiniLM-L6-v2），使开发人员能够以最小的努力集成语义搜索功能。 通过专注于句子级别的语义，这些模型弥合了原始文本和机器可读表示之间的差距，从而实现了更直观的 NLP 应用程序。