仅解码器模型和编码器-解码器模型是机器学习中用于基于序列任务的两种常见架构。它们之间的主要区别在于如何处理输入和生成输出。编码器-解码器模型使用独立的组件，首先理解输入（编码器），然后生成输出（解码器）。另一方面，仅解码器模型将这些步骤合并到一个单独的组件中，直接生成输出，通常将输入作为生成过程本身的一部分。
编码器-解码器模型 编码器-解码器架构设计用于输入和输出是不同序列的任务，例如翻译或摘要。编码器将输入（例如，法语句子）处理成压缩表示（通常称为上下文向量）。然后，解码器使用此表示来生成输出序列（例如，英语翻译）。例如，原始的 Transformer 模型使用带有自注意力机制的编码器来分析输入，以及带有自注意力机制和交叉注意力机制（关注编码器输出）的解码器进行生成。像 BART 和 T5 这样的模型遵循这种设计，这使得它们对于在生成结构化输出之前需要深入理解输入的任务非常有效。这种分离允许模型处理输入和输出之间复杂的映射关系，但也由于双组件而增加了计算开销。
仅解码器模型 仅解码器模型通过移除编码器来简化架构。这些模型，例如 GPT-3 或 LLaMA，以自回归方式生成输出——基于之前的标记逐个预测标记。它们将输入视为输出生成过程的一部分。例如，当给定一个提示，如“Translate to French: ‘Hello’,”，模型会逐个标记地生成翻译，而没有专门的编码阶段。这种方法主要依赖于掩码自注意力机制，它确保每个标记只关注序列中之前的标记。虽然对于文本生成（例如，聊天机器人或代码补全）效率很高，但仅解码器模型可能难以处理需要双向理解输入的任务，因为它们是顺序处理信息而不是整体处理。
何时使用哪种模型 当输入和输出在结构或含义上显著不同时，编码器-解码器模型表现出色，例如在语言之间进行翻译或根据上下文回答问题。它们的两步过程确保模型在生成之前完全“理解”输入。仅解码器模型更适合输入和输出紧密对齐的任务，例如文本续写或指令遵循，因为它们通过合并理解和生成来简化生成过程。例如，针对代码生成微调 GPT-3 效果很好，因为输入（描述代码的注释）和输出（代码本身）紧密耦合。选择哪种模型通常取决于任务复杂性和计算限制：编码器-解码器为复杂映射提供精度，而仅解码器则优先考虑生成密集型工作流程的效率。