Sentence Transformer 嵌入对于词语来说是 上下文相关的，尽管它们的方法与像 BERT 这样的词元级别模型不同。与静态嵌入（例如 Word2Vec）为每个单词分配一个固定向量，而不管上下文如何不同，Sentence Transformer 通过基于 transformer 的架构处理整个句子来生成嵌入。这些模型使用注意力机制来权衡周围单词的重要性，从而允许单词的含义根据其上下文进行调整。例如，“河岸”中的“bank”与“银行账户”中的“bank”会以不同的方式影响句子嵌入，因为该模型会分析“bank”如何与相邻词语交互。但是，由于 Sentence Transformer 输出的是 句子级别的嵌入（而不是单个词向量），因此上下文感知反映在整个输入的聚合表示中。
为了处理多义性（具有多种含义的单词），Sentence Transformer 依赖于它们捕获句子中上下文关系的能力。当出现像“bat”（可能意味着动物或运动工具）这样的词时，该模型会检查句子结构和周围的词来推断正确的含义。例如，在“蝙蝠飞出了洞穴”中，“飞”和“洞穴”的存在表示动物的含义，而“他用力挥动球棒”则将“bat”与棒球联系起来。 Transformer 的注意力头会为相关的上下文词分配更高的权重，从而调整句子嵌入以反映预期的含义。这与静态嵌入形成对比，后者将在两种情况下以相同的方式表示“bat”，从而导致含糊不清的表示。
Sentence Transformer 在处理多义性方面的有效性源于它们的训练过程。它们通常会通过诸如对比学习之类的目标进行微调，其中模型学习区分相似和不相似的句子。例如，在训练期间，像（“她开了一个银行账户”，“鱼在河岸附近游泳”）这样的对在嵌入空间中被推开，从而教会模型区分“bank”的含义。此外，词元嵌入的平均池化（在 Sentence Transformer 中很常见）等技术会聚合所有词的上下文丰富表示，从而确保多义词对最终句子向量做出适当的贡献。这使得嵌入对单词歧义具有鲁棒性，同时保留语义连贯性。