交叉编码器和双编码器是两种用于处理涉及文本对的任务的架构，例如相似度评分或问答。 关键区别在于它们如何处理输入对。 双编码器通过共享神经网络分别处理每个输入（例如，查询和文档），从而生成独立的嵌入。 然后使用余弦相似度等相似性度量来比较这些嵌入。 例如，在搜索系统中，双编码器可能会预先将所有文档编码为向量，并在运行时将它们与查询向量进行比较。 相比之下，交叉编码器在单个前向传递中一起处理两个输入，允许模型直接分析对中标记之间的交互。 这种联合处理能够实现更深层次的上下文理解，但需要更多的计算。
双编码器通常用于速度和可扩展性至关重要的场景。 由于可以为文档或产品描述等项目预先计算嵌入，因此将新查询与数百万个预存储向量进行比较非常有效。 例如，推荐系统可以使用双编码器通过预先编码产品数据一次并将其重新用于快速查找，来将用户查询与产品进行匹配。 然而，当准确性是首要任务且计算成本可控时，交叉编码器表现出色。 重新排列顶部搜索结果等任务受益于交叉编码器，因为它们可以分析查询和候选者子集之间细微的上下文关系。 例如，在双编码器检索到 100 个潜在答案后，交叉编码器可以通过更精确地判断相关性来重新排序它们。
架构的选择取决于权衡。 双编码器是具有大型数据集的实时应用的理想选择，因为它们的两步编码-比较过程具有良好的可扩展性。 交叉编码器虽然速度较慢，但可以为语义文本相似性或自然语言推理等细粒度任务提供更高的准确性（例如，确定一个句子是否与另一个句子相矛盾）。 一种常见的混合方法是：使用双编码器进行初始候选检索，并使用交叉编码器进行最终排序。 对于开发人员来说，决策取决于平衡延迟、资源约束和性能需求。 如果您的系统需要即时响应（例如，自动完成建议），则双编码器是实用的。 如果精度是不容协商的（例如，法律文件分析），则交叉编码器可以证明计算开销是合理的。