在 RAG 评估集中包含多种类型的问题至关重要，因为它能测试系统处理多样化推理和检索任务的能力。事实型问题（例如，“首次登月是哪一年？”）要求从文档中精确提取具体细节。布尔型问题（“气候变化是否与飓风强度的增加有关？”）需要二元的是/否回答，但要求系统根据证据验证论断。解释型问题（“光合作用如何工作？”）评估模型从多个来源综合复杂过程的能力。每种类型都探查系统不同的层面——检索精度、上下文理解以及摘要的连贯性——确保评估不会偏向单一技能。
不同类型的问题以独特的方式对系统造成压力。事实型问题挑战检索器定位精确信息的能力，特别是当答案埋藏在大型文档中或分散在不同段落时。例如，如果在一份万字报告中只提及某事实一次，检索器必须避免检索不相关的文本。布尔型问题测试系统对上下文和否定的理解能力。像“维生素 C 是否能预防感冒？”这样的问题可能需要查阅相互矛盾的研究，迫使模型权衡证据而非只检索一个答案。解释型问题考验生成器将零散细节组织成逻辑流程的能力。如果检索器遗漏了过程中的关键步骤（例如，在光合作用中遗漏了卡尔文循环），即使单个事实准确，生成器也可能产生不完整或不正确的解释。
示例可以说明这些压力。像“法国的首都是什么？”这样的事实型问题在简单情况下测试检索速度和准确性，但一个更棘手的问题，如“截至 2023 年，巴黎的人口是多少？”，可能会暴露知识库中的过期数据。布尔型问题，例如“人类能在没有睡眠的情况下生存吗？”，如果系统混淆了短期影响（例如 24 小时剥夺睡眠）与长期后果，可能会失败。解释型问题，如“解释量子纠缠”，如果生成器只是堆砌术语而未澄清概念，则有过度简化的风险。通过混合问题类型，开发者可以识别弱点：事实型问题的检索效果差，布尔型问题的推理漏洞，或解释型问题的输出结构混乱。这种多样性确保 RAG 系统不仅擅长单一任务，而且在真实世界场景中表现稳健。
