为了有效评估多步检索，数据集必须围绕需要结合多个文档信息的问题进行明确设计。关键考虑因素是确保每个问题都需要来自至少两个不同文档的信息，并有清晰的注释指示哪些文档是回答问题所必需的。例如，一个问题如“Company X 2023 年的收入与行业增长趋势相比如何？”将需要检索 Company X 的财务报告和一份独立的行业分析文档。如果没有明确标记这些来源文档，将无法衡量系统是否正确识别和综合了所需的信息。数据集还必须避免“自给自足”的问题（仅凭一份文档即可回答），以便独立评估多文档推理能力。
数据集必须包含受控的文档关系和有意引入的歧义。文档应有重叠的主题，但细节不同，迫使系统识别互补信息。例如，两份产品手册可能描述重叠的功能，但在技术规格上有所不同，需要系统合并两者的细节。此外，数据集应包含“干扰”文档——与问题共享关键词但不 contributing to the answer 的不相关或部分相关文本。这用于测试系统能否过滤噪声。例如，一个关于“药物 A 在老年患者中的副作用”的问题，可能会有讨论药物 A 在成人中的疗效或药物 B 的副作用的干扰文档。明确注释所需的文档有助于开发者验证系统是否避免了误报。
最后，评估指标必须考虑多文档依赖性。传统的 recall@k 或 precision@k 等指标是不够的，因为它们将文档视为独立单元。相反，指标应衡量是否检索到所有必需的文档，并且按照逻辑顺序。例如，一个关于“事件 Y 的原因”的问题，可能首先需要检索一份政策文档来为之后的案例研究提供背景。数据集应跟踪检索顺序和文档组合，而不仅仅是单个文档的相关性。HotpotQA 等工具注释了多跳问题的支持文档，为构建此类数据集提供了模板。开发者可以通过添加文档关系元数据（例如，超链接、引用）来模拟系统必须导航相互关联信息的现实场景。
