在检索增强生成 (RAG) 系统中平衡精确率和召回率涉及权衡：一方面要检索足够的上下文来准确回答查询（召回率），另一方面要确保检索到的文档直接相关（精确率）。如果检索器优先考虑召回率，检索大量文档，则可能包含不相关的信息，这些信息可能会误导生成器或引入噪声。相反，如果检索器优先考虑精确率，仅检索少量高度相关的文档，则可能会排除对细致答案至关重要的上下文。最佳平衡点取决于具体的用例：需要事实准确性（例如，医疗问答）的任务需要更高的精确率，而开放式任务（例如，头脑风暴）则受益于更高的召回率。
检索大量文档（高召回率）增加了包含所有必要信息的可能性，但会使生成器的任务复杂化。例如，像“什么导致气候变化？”这样的查询可能会检索到 20 份文档，涵盖相互重叠的理论、历史数据和不相关的环境政策。生成器随后必须解析冗余或冲突的细节，从而增加不一致或冗长的风险。另一方面，如果检索器的阈值过于严格，仅检索 3-5 份高度相关的文档（高精确率）可能会排除关键因素（例如，海洋酸化）。这可能导致答案不完整或过于简化。开发人员在调整相似度分数阈值时经常会观察到这种权衡：较低的阈值提高了召回率，但存在引入噪声的风险；而较高的阈值提高了精确率，但可能会遗漏关键上下文。
为了平衡这些指标，开发人员可以实施混合策略。例如，检索更大的初始文档集（例如，前 20 个）以最大化召回率，然后使用辅助模型或启发式方法（例如，关键词密度、元数据过滤器）对它们进行重新排序以优先考虑精确率。另一种方法是根据查询的歧义性动态调整检索文档的数量：宽泛的查询检索更多，具体的查询检索更少。可以实验性地调整诸如 Elasticsearch 的 minimum_should_match 参数或 FAISS 的搜索深度等工具。例如，用于法律研究的 RAG 系统可以使用两阶段检索器：先使用稀疏模型（BM25）实现高召回率，然后使用密集重排器（例如，BERT）过滤结果。使用 MRR（Mean Reciprocal Rank，平均倒数排序）或 F1 分数（结合精确率/召回率）等指标进行测试有助于量化特定工作负载的平衡点。