为了获取用于识别哪个文档或段落包含问题答案的真实数据，最常见的方法是利用带注释的数据集。这些数据集明确地将问题映射到特定的文本片段，使模型能够学习答案检索的模式。例如，SQuAD 数据集包含超过 10 万个问题-答案对，每个问题-答案对都链接到维基百科文章中的一段文字。注释者手动突出显示了回答每个问题的确切文本范围，从而创建了一个可靠的参考。与此类似的数据集，如 TriviaQA 和 Natural Questions，使用略有不同的注释方法——TriviaQA 通过将问题与包含答案的网页对齐来进行远程监督，而 Natural Questions 使用真实的 Google 搜索查询，并配以人工注释的维基百科答案。这些数据集通过提供问题与段落关系的清晰、经过验证的示例，为训练和评估模型提供了一种标准化的方法。
另一种方法是针对自定义用例进行手动注释。当现有数据集与项目的领域（例如，法律文件或医疗记录）不一致时，团队通常会创建自己的真实数据。此过程通常涉及领域专家或受过培训的注释者标记回答预定义问题的文件或段落。Prodigy、Label Studio 等工具，甚至自定义脚本，都可以简化此工作流程。例如，注释者可能会审查一组技术支持单，并标记解决用户问题的部分。为了确保质量，团队会使用诸如注释者间一致性（衡量注释者之间的一致性）和迭代改进注释指南等指标。虽然这种方法很耗时，但它可以确保真实数据与特定要求相符，例如公共数据集中未涵盖的行业术语或文档格式。
第三种方法是将自动化启发式方法与人工验证相结合。例如，关键词匹配或像 BM25 这样的检索模型可以预先选择候选段落，然后由人工审查其准确性。在法律领域，工具可能会在语料库中搜索法规名称或案例引用，并标记相关的段落以供验证。同样，基于嵌入的方法（例如，使用句子转换器）可以通过与问题的语义相似性来对段落进行排名，而人工则确认排名靠前的结果。这种混合方法减少了手动工作量，同时保持了可靠性。例如，MS MARCO 数据集使用 Bing 搜索结果作为候选答案，然后由人工注释者对其进行改进。这些策略平衡了可伸缩性和准确性，使其适用于完全手动注释不可行的项目。
