要使用 Sentence Transformers 库中的 Cross-Encoder 对搜索结果进行重新排序，您首先需要使用快速检索方法（如 BM25 或 Bi-Encoder 模型）检索初始候选文档集，然后应用 Cross-Encoder 计算查询和每个候选文档之间的相关性得分，最后根据这些得分对结果进行重新排序。 Cross-Encoder 与 Bi-Encoder 的不同之处在于，它联合处理查询和文档文本，从而实现更深层次的语义理解，但计算成本更高。 这使得它们非常适合在更快的初始检索步骤之后，对一小部分排名靠前的候选文档（例如，100-200 个条目）进行重新排序。
首先使用 pip install sentence-transformers 安装该库。加载预训练的 Cross-Encoder 模型，例如 cross-encoder/ms-marco-MiniLM-L-6-v2，它针对搜索相关性任务进行了优化。通过将查询与每个检索到的文档配对来准备您的数据。例如，如果您的搜索查询是“climate change effects”，并且您有 100 个初始结果，请创建一个元组列表，例如 [(query, doc1), (query, doc2), ..., (query, doc100)]。将此列表传递给模型的 predict() 方法以生成相似度得分。这些得分表示每个文档与查询的匹配程度。最后，按得分降序对文档进行排序，以生成重新排序的列表。
在实施此操作时，请考虑性能方面的权衡。 Cross-Encoder 比 Bi-Encoder 慢，因为它们单独处理每个查询-文档对。 对于包含 100 个文档的查询，Cross-Encoder 可能需要 1-2 秒才能在 CPU 上运行，而 Bi-Encoder 可以在同一时间内处理数千个文档。 仅在初始检索中排名靠前的候选文档上使用 Cross-Encoder，以平衡速度和准确性。 此外，通过截断或拆分较长的文档，确保文本长度在模型的 Token 限制（例如，512 个 Token）之内。 选择在与您的领域相关的训练数据集（例如，用于通用 Web 搜索的 MS MARCO）上训练的模型，以获得最佳结果。