神经网络中的注意力机制是一种允许模型在进行预测时动态地关注输入数据特定部分的机制。注意力机制不平等对待所有输入元素，而是根据它们与任务的相关性赋予不同的权重。例如，在句子翻译任务中，模型在生成目标语言的动词时，可能会更加关注主语名词。这是通过计算一组分数来实现的，这些分数决定了每个输入元素对输出的影响程度。这些分数通常使用可学习的参数和数学运算（如点积）得出，然后通过 softmax 函数将其归一化为概率。结果是输入特征的加权和，模型使用它来进行上下文感知决策。
一个实际的注意力机制示例是 Transformer 架构，它严重依赖于自注意力（self-attention）。在自注意力中，序列中的每个元素（例如句子中的单词）计算其与序列中所有其他元素的相关性。例如，在句子“The cat sat on the mat”中，当处理单词“sat”时，模型可能会对“cat”（主语）和“mat”（位置）赋予更高的权重。这是通过为每个输入元素创建三个向量来实现的：查询（query）、键（key）和值（value）。“sat”的查询与所有其他单词的键进行比较，以确定它们的相关性。然后使用这些权重组合值，生成具有丰富上下文的表示。多头注意力（Multi-head attention）通过并行运行多个自注意力操作来扩展此机制，使模型能够捕捉不同类型的关系（例如，句法和语义关系）。
从实现的角度来看，注意力机制提高了效率和可伸缩性。与逐步处理序列的循环网络不同，注意力机制可以并行计算所有输入关系。开发人员通常使用矩阵运算实现注意力机制，这针对 GPU 等现代硬件进行了优化。例如，在 PyTorch 中，torch.nn.MultiheadAttention 层处理查询、键和值的计算，应用掩码（针对语言建模等任务），并返回加权输出。注意力机制还解决了早期模型中固定上下文窗口的限制，使网络能够更有效地处理长距离依赖关系。通过动态地关注相关输入，模型变得更具可解释性——开发人员可以可视化注意力权重，从而了解输入的哪些部分影响了预测，这有助于调试和模型改进。