深度学习模型中的注意力机制是一种允许模型在进行预测时动态地关注输入数据特定部分的机制。与 RNN 或 CNN 等传统模型不同，传统模型是按步骤或使用固定滤波器处理序列的，而注意力机制为不同的输入元素分配不同程度的重要性（权重）。例如，在机器翻译中，当生成“apple”的法文单词时，模型可能会给输入单词“pomme”分配更高的权重，同时降低不相关单词的重要性。这些权重在训练过程中学习，使模型能够自适应地优先处理相关信息。核心思想是计算一个上下文向量——输入的加权总和——它捕获了当前任务中最有用的信息。
一个关键示例是 Transformer 架构，它高度依赖于自注意力机制。在自注意力机制中，每个 token（例如，句子中的一个单词）生成一个查询（query）、一个键（key）和一个值（value）向量。一个 token 的查询与所有其他 token 的键通过点积进行比较，产生相似度得分。这些得分经过缩放，用 softmax 标准化，然后用于加权值向量，为每个 token 创建一个上下文感知表示。多头注意力机制通过并行运行多个自注意力操作来扩展此功能，使模型能够捕获不同的关系（例如，语法和语义模式）。例如，BERT 使用这种机制双向编码上下文，而 GPT 则应用掩码自注意力机制自回归地生成文本。视觉 Transformer (ViTs) 也将类似原理应用于图像块进行分类等任务。
注意力机制的实际好处包括并行计算（没有像 RNN 那样的序列依赖性）以及处理数据中长距离依赖关系的能力。这使得 Transformer 在 GPU 上高效训练，并有效处理翻译长文档或文本摘要等任务。然而，计算成本随着输入长度的增加呈二次方增长（n 个 token 为 O(n²)），这可能是一个瓶颈。已经开发了稀疏注意力（限制 token 交互的数量）或核近似等技术来缓解这个问题。尽管存在这些挑战，注意力机制仍然是现代模型的基础，通过实现对不同数据类型的上下文感知、灵活处理，为从代码生成到图像描述等应用提供动力。