交叉编码器重排序器通过改进双编码器的初始结果来增强检索中的双编码器嵌入模型。双编码器独立地将查询和文档处理成向量嵌入，从而可以在大型数据集中进行高效的相似性比较（例如，余弦相似度）。但是，这种方法无法分析查询和每个文档之间的直接交互。交叉编码器通过联合处理查询-文档对来解决此问题，从而捕获细微的上下文关系。例如，对于有关“全球变暖影响”的查询，双编码器可能会检索包含诸如“气候变化影响”之类的关键字的文档，但是交叉编码器可以更好地识别文档的上下文是否与查询的意图一致，即使关键字重叠受到限制。这种两阶段的过程平衡了速度（通过双编码器）和准确性（通过交叉编码器）。
交叉编码器的使用突出了双编码器在对细粒度语义关系进行建模方面的局限性。双编码器独立生成嵌入，当文档与查询共享表面相似性但缺乏更深层次的相关性时，可能会导致误报。例如，对于诸如“电动汽车电池效率”之类的查询，由于共享术语“电池”，双编码器可能会将有关“智能手机中的电池寿命”的文档排在很高的位置，即使上下文不同。交叉编码器通过将查询-文档对评估为单个输入来缓解此问题，从而使注意力机制或更深层的交互能够更精确地评估相关性。这意味着双编码器在没有明确上下文的情况下，难以消除多义词的歧义或捕获特定领域的细微差别。
这些模型的结合反映了可伸缩性和精确度之间的权衡。双编码器擅长从数百万个文档中快速缩小候选范围，但是它们的嵌入可能无法完全编码复杂的语义依赖关系。交叉编码器通过使用更丰富的上下文分析来重新评估排名靠前的候选者（例如，前 100 个结果）来进行补偿，从而提高最终的排名质量。对于开发人员而言，这意味着设计系统，其中双编码器处理初始检索（针对速度进行了优化），而交叉编码器则侧重于重新排名（针对准确性进行了优化）。一个实际的例子是搜索引擎：Elasticsearch 可能会使用双编码器进行快速索引，然后使用基于 BERT 的交叉编码器对结果进行重新排名。这种分层方法承认，仅靠基于嵌入的纯检索可能会错过需要联合查询-文档分析的细微相关性提示。
