上下文嵌入（如 BERT）与传统嵌入不同之处在于，它们生成的词表示会根据周围的语境进行调整，而传统方法无论词语如何使用，都会为其分配固定的向量。传统嵌入，如 Word2Vec 或 GloVe，根据词语在训练语料库中的总频率或共现模式，将每个词语映射到一个静态向量。例如，在“river bank”（河岸）和“bank account”（银行账户）中，“bank”一词会拥有相同的向量，尽管它们的含义不同。相比之下，BERT 生成动态嵌入，反映了词语在特定句子中的功能。这使得“bank”可以根据其是指金融机构还是物理地标而拥有不同的表示。
技术差异在于架构和训练。传统嵌入使用浅层神经网络或矩阵分解进行训练，以捕获全局词语关系。例如，Word2Vec 使用 skip-gram 或 CBOW 模型预测邻近词，而 GloVe 则利用词语共现统计。这些方法孤立地处理词语，忽略句子结构。然而，BERT 使用带有自注意力机制的 Transformer 层，以双向方式处理整个序列。在训练过程中，BERT 通过预测句子中的掩码词和判断两个句子是否相连来学习。这使得模型在生成嵌入时必须考虑来自两个方向（左侧和右侧）的语境。例如，在句子“She deposited money into her bank account”（她把钱存入银行账户）中，BERT 对“bank”的嵌入包含了“deposited”（存入）和“account”（账户）等词语，将其与金融关联起来。
区分同音异义词是这一区别的一个实际例子。假设开发人员构建了一个情感分析模型：传统嵌入可能难以处理“The bass was too loud”（低音太响了）这样的短语，因为“bass”可以指代鱼或低音。然而，BERT 会根据“loud”（响亮）等相邻词语调整嵌入，以推断出正确含义。类似地，在实体识别中，BERT 通过分析“stock”（股票）或“juice”（果汁）等周围词语，可以更好地区分作为公司还是水果的“Apple”。虽然传统嵌入计算量较轻，适用于关键词匹配等简单任务，但 BERT 的语境感知方法在问答或语义搜索等复杂自然语言处理任务中表现出色，这些任务的含义很大程度上取决于措辞。开发人员通常会针对特定用例对 BERT 进行微调，利用其动态嵌入来捕捉静态方法遗漏的细微差别。