编码器-解码器架构是一种神经网络设计，用于将输入数据转换为输出数据，通常用于输入和输出是不同长度序列的任务。 它由两个主要组件组成：编码器，它处理输入并将其压缩为固定大小的表示（通常称为上下文向量），以及解码器，它使用该表示生成输出序列。 这种架构通常应用于机器翻译、文本摘要或语音识别等任务，其目标是将一种结构化格式映射到另一种结构化格式。 例如，将英语句子翻译成法语需要模型首先“理解”输入句子，然后“生成”翻译后的版本。
编码器逐步处理输入，例如句子中的单词，并构建对整个序列的上下文理解。 在使用循环神经网络 (RNN) 的传统实现中，编码器的最终隐藏状态用作上下文向量。 然后，解码器使用该向量初始化自己的隐藏状态，并逐步生成输出序列。 例如，在机器翻译中，编码器可能会读取英语句子“Hello, how are you?” 并生成捕获其含义的上下文向量。 解码器使用该向量生成法语等效句子“Bonjour, comment ça va?”，方法是按顺序预测每个单词。 现代实现通常用基于 Transformer 的模型取代 RNN，该模型使用自注意力机制来捕获所有输入元素之间的关系，从而提高效率和性能。
使用编码器-解码器架构时的实际考虑因素包括处理可变长度序列和管理计算资源。 例如，在训练期间，输入序列可能会被填充到固定长度，并且通常会添加注意力机制来帮助解码器动态地关注输入的相关部分。 在 Transformer 架构中，编码器和解码器各自包含多层自注意力和前馈网络。 开发人员可能会微调预训练模型（如用于编码的 BERT 或用于解码的 GPT）或使用 TensorFlow 或 PyTorch 等框架来构建自定义模型。 主要挑战包括避免从头开始训练时的过度拟合以及优化推理速度，特别是对于长序列。 诸如集束搜索之类的工具可以通过探索多个候选序列来提高解码期间的输出质量。 了解这些组件有助于将架构适应特定任务，例如为代码翻译添加特定领域的标记化或为视频字幕调整注意力机制。