在 Transformer 中，注意力机制使用缩放点积注意力来计算。 这个过程允许模型在处理每个 token 时，确定对输入序列的不同部分给予多少关注。 核心思想是通过比较每对 token 的查询、键和值（这三个向量都源自输入嵌入）来计算它们之间的关系。 每个 token 的查询向量与所有键向量进行比较，以产生注意力分数，这些分数经过归一化后用于对相应的价值向量进行加权。 这些值的加权总和成为 token 的输出。
该计算过程分四个具体步骤。 首先，使用学习到的线性变换将输入嵌入投影到查询 (Q)、键 (K) 和值 (V) 矩阵中。 例如，如果输入是像“The cat sat on the mat”这样的句子，则每个单词嵌入都会乘以三个单独的权重矩阵来创建 Q、K 和 V。 其次，计算 Q 和 K 的点积，从而产生一个注意力分数矩阵。 这些分数通过除以键维度 (√dₖ) 的平方根进行缩放，这可以防止大值引起的梯度问题。 第三，逐行应用 softmax 函数将分数转换为概率，确保它们总和为 1。 最后，将这些概率乘以 V 矩阵以生成最终输出，其中每个 token 的输出是所有 token 的值的组合，这些值通过其相关性进行加权。
一个实用的细节是使用多头注意力，它将 Q、K 和 V 分成更小的子空间（“头”）以捕获不同的关系。 例如，一个头可能专注于句法关系（例如，主谓一致），而另一个头跟踪位置依赖关系。 处理之后，所有头的输出被连接起来并线性投影以形成最终结果。 缩放因子 (√dₖ) 确保了训练期间的稳定梯度，因为较大的键维度会导致较大的点积，这可能会将 softmax 推入低灵敏度区域。 这种机制允许 Transformer 有效地建模长期依赖关系，从而优于像 RNN 这样顺序处理序列的早期架构。