Transformer 在生成嵌入中扮演着核心角色，它通过自注意力机制和分层神经网络处理输入数据，从而创建文本的上下文感知表示。与早期的 Word2Vec 或 GloVe 等方法不同，这些方法生成静态嵌入（每个单词的固定向量，与上下文无关），而 Transformer 生成动态嵌入，可以适应周围的单词。例如，“river bank”（河岸）中的“bank”与“bank account”（银行账户）中的“bank”会根据句子的上下文获得不同的嵌入。这种上下文理解是通过同时分析序列中所有单词之间的关系来实现的，从而使模型能够衡量每个单词相对于其他单词的重要性。
Transformer 的架构，特别是 BERT 等模型中的编码器堆栈或 GPT 中的解码器，使得这个过程成为可能。每个 Transformer 层都由自注意力和前馈子层组成。自注意力计算所有输入 token 的加权和，其中权重反映了每个 token 对当前 token 的影响程度。例如，在句子“The cat sat on the mat”（猫坐在垫子上）中，“cat”的嵌入会受到“sat”和“mat”的影响，但会根据它们的相关性进行调整。随着数据通过多个层，嵌入变得越来越精细，捕捉到更高层次的句法和语义模式。开发人员可以从中间层（例如，BERT-base 中的第 12 层）提取这些嵌入，或者将它们组合起来用于特定任务。
实际上，基于 Transformer 的嵌入被用于语义搜索、情感分析和机器翻译等应用中。例如，在搜索引擎中，可以通过比较嵌入相似度，将诸如“affordable electric cars”（经济实惠的电动汽车）之类的查询与包含“cheap EVs”（廉价电动汽车）的文档进行匹配。像 Hugging Face 的 Transformers 这样的库简化了对预训练模型的访问，允许开发人员以最少的代码生成嵌入。但是，计算成本是一个考虑因素——较大的模型需要 GPU 才能实现高效的推理。模型大小（例如，BERT-base 与 BERT-large）与任务性能之间的权衡通常会指导实施选择。通过利用 Transformer，嵌入成为在机器学习流程中表示细微语言结构的强大工具。