Transformer 模型是一种用于处理序列数据（如文本）的神经网络架构，通过捕获序列中元素之间的关系。Transformer 模型在 2017 年的论文《Attention Is All You Need》中被提出，主要依赖于自注意力机制来衡量输入数据不同部分的重要性。与早期按步骤处理数据的 RNN 或 LSTM 等模型不同，Transformer 模型并行处理整个序列，使其训练速度更快，并且在处理长距离依赖关系方面更有效。它们已成为现代自然语言处理 (NLP) 模型（如 BERT 和 GPT）的基础。
Transformer 模型的核心是其编码器-解码器结构，尽管有些模型仅使用这些组件中的一个。编码器将输入数据映射为高维表示，而解码器基于该表示生成输出。关键创新是多头自注意力机制，它允许模型同时关注输入的不同部分。例如，在一个句子如“猫坐在垫子上”中，自注意力机制帮助模型识别“猫”与“坐”和“垫子”相关。多头注意力机制中的每个“头”学习不同的模式，从而实现更丰富的上下文理解。此外，Transformer 模型使用位置编码来注入有关元素顺序的信息，因为它们缺乏内置的序列处理能力。
Transformer 模型擅长翻译、文本生成和摘要等任务。例如，像 GPT-3 这样的模型通过预测序列中的下一个词来生成连贯的段落，而 BERT 通过分析双向上下文来改进诸如问题回答之类的任务。除了 NLP 之外，Transformer 模型还被改编用于计算机视觉（例如，用于图像分类的 Vision Transformer 模型）甚至蛋白质序列分析。它们的并行处理能力使它们能够有效地进行大规模训练，但由于其复杂性，它们需要大量的计算资源。对于开发人员来说，像 PyTorch 和 TensorFlow 这样的框架提供了预构建的 Transformer 模型层，从而简化了实现，同时允许针对特定用例进行自定义。