嵌入和注意力机制是现代神经网络中互补的组成部分，尤其是在基于 Transformer 的模型中。嵌入将离散输入（如单词或标记）转换为连续向量表示，这些向量表示捕获语义和句法信息。然后，注意力机制使用这些嵌入来动态确定输入的哪些部分与给定任务最相关。例如，在翻译任务中，嵌入表示单词的含义，而注意力识别源句子中的哪些单词应影响目标单词的翻译。它们共同使模型能够以感知上下文的灵活性处理顺序数据。
嵌入和注意力之间的交互发生在多个阶段。首先，输入令牌（例如，单词）被映射到嵌入向量，这些向量作为数据的初始数值表示。然后，这些嵌入被馈送到注意力层，模型在注意力层计算嵌入对之间的相似度分数（例如，自注意力中的查询和键之间）。这些分数决定了输入的每个部分接收多少关注。例如，在一个像“The cat sat on the mat”这样的句子中，“sat”这个词可能会通过注意力权重强烈关注“cat”和“mat”，但这个过程依赖于嵌入来编码单词之间有意义的关系。多头注意力通过允许模型同时关注嵌入的不同方面来扩展这一点，例如一个头中的语法和另一个头中的语义。
虽然嵌入和注意力是不同的概念，但它们的协同作用至关重要。嵌入提供基础表示，而注意力完善这些表示如何以情境方式交互。一个实际的例子是 BERT：它的输入嵌入结合了令牌、位置和段落信息，创建了一个丰富的起点。然后，注意力层通过突出显示令牌之间的依赖关系（例如将代词链接到文本中的先行词）来传播和完善这些嵌入。重要的是，嵌入通常在训练后是静态的（对于给定的输入），而注意力权重在推理期间动态计算，以适应每个特定的输入序列。这种分离允许模型平衡固定的语义知识（嵌入）与上下文敏感的调整（注意力），使它们共同成为需要泛化和特异性任务所必需的。