Embeddings 通过将有歧义的数据表示在连续的向量空间中来处理它，其中上下文和关系会影响向量的位置。有歧义的术语或数据点（例如具有多种含义的词）会映射到反映其在上下文中使用的向量，而不是依赖于单个固定表示。 这种上下文关联允许 embeddings 根据周围的数据捕获术语的不同含义，从而使模型能够动态地区分含义。
例如，考虑单词 “bank”。在传统的静态 embeddings（如 Word2Vec）中，“bank” 可能会被分配一个单独的向量，该向量平均了它的金融和地理含义。但是，上下文 embeddings（如 BERT 或 RoBERTa）会根据句子为 “bank” 生成唯一的向量。在 “I deposited money at the bank” 中，embedding 会与金融机构对齐，而在 “We sat by the river bank” 中，embedding 会反映物理景观。这是通过在训练期间分析整个输入序列来实现的，从而使模型可以根据相邻的单词调整向量。 子词标记化（在 FastText 等模型中使用）也有助于将有歧义的术语分解为较小的组成部分（例如，“unbreakable” 分解为 “un”、“break”、“able”），这可以通过共享的子词表示来消除歧义。
为了提高歧义的处理能力，embeddings 通常依赖于大型、多样化的训练数据集和明确的架构选择。像 DeBERTa 或 ALBERT 这样的模型结合了更好地分离上下文信号的机制，例如解耦位置和内容 embeddings。开发人员还可以在特定领域的数据上微调 embeddings（例如，医学文本用于消除生物学与技术中的 “cell” 等术语的歧义）。实际上，这意味着当上下文差异足够大时，有歧义的术语会映射到向量空间的不同区域，从而使诸如分类或搜索之类的下游任务可以利用这些区别。 例如，使用 embeddings 的搜索引擎可以根据查询上下文区分 “Python”（蛇）和 “Python”（编程语言），从而提高结果的准确性。