Sentence Transformers 在生成句子嵌入方面非常强大，但在理解和表示句子含义方面面临着一些挑战。 这些局限性源于它们的架构、训练数据以及语言建模中固有的偏差。 开发人员在将这些模型应用于实际任务时应注意这些限制。
一个关键的限制是它们对上下文和歧义的处理。 Sentence Transformers 通常孤立地处理每个句子，当意义取决于更广泛的上下文时，这可能会导致问题。 例如，“It’s cold” 这个句子可能指的是天气、饮料或人的举止，但模型可能会生成相同的嵌入，而不管上下文如何。 这在对话系统中变得有问题，因为之前的表达提供了关键的上下文。 此外，模型在多句文本中难以处理共指消解（将代词链接到它们的前身）和长程依赖关系。 像 “The doctor called the nurse because she was late” 这样的句子在孤立的情况下变得模糊——如果没有外部上下文，模型无法可靠地确定 “she” 指的是医生还是护士。
另一个挑战是领域特异性和罕见的语言模式。 这些模型通常在一般的网络文本上训练，这可能会限制它们在专业领域的有效性。 例如，在法律文件中，“party of the first part” 这样的短语具有特定含义，与日常用法相比，模型可能无法捕捉到细微的差别。 技术术语、区域方言和新兴俚语（如互联网模因或加密货币术语）通常没有得到很好的表示。 即使使用微调，模型的性能仍然受到其原始训练数据分布的限制。 使用 Sentence Transformers 的医疗搜索引擎可能会在包含 “discharge” 等术语的查询中遇到困难（这可能意味着患者释放或体液，具体取决于上下文），而没有明确的领域适应。
最后，在捕捉真正的语义理解方面存在固有的局限性。 这些模型擅长表面相似性，但可能会错过逻辑关系和更深层的含义。 例如，它们可能会将 “Cats chase mice” 和 “Mice are chased by cats” 评为高度相似（好的），但也可能将 “Cats eat mice” 评为高度相似，尽管动作不同（坏的）。 它们难以处理否定（“The movie wasn’t boring” vs “The movie was exciting”）和通过讽刺或反讽表达的微妙情感色彩。 用户评论 “Sure, the service was fast – if you consider 3 hours fast!” 可能会被嵌入错误地表示为积极的。 这些局限性表明，虽然 Sentence Transformers 对于许多相似性任务非常出色，但不应将它们视为真正的语义理解系统，而需要额外的验证层。