要构建用于评估语义搜索系统的测试集，首先定义用例并收集具有代表性的查询。语义搜索旨在理解用户的意图和上下文，因此您的测试集必须反映真实场景。首先，确定您的系统应处理的常见用户意图。例如，如果您正在为电子商务网站构建搜索功能，请包含诸如“价格实惠的冬季夹克”或“10 码防水登山靴”之类的查询。收集直接的查询（“蓝色牛仔裤”）和模棱两可的查询（“轻便夹克”，可能指重量、颜色或材质）。包括同义词（“运动鞋”与“跑鞋”）和措辞变化（“用于编码的最佳笔记本电脑”与“用于软件开发的好的电脑”）。边缘情况，例如罕见术语或复杂措辞，也应包括在内以测试鲁棒性。
接下来，创建一组文档（例如，产品描述、文章或支持票据）并将它们映射到查询。每个查询都应该有一组解决意图的“正确”文档，最好由人工进行注释。例如，如果查询是“如何重置忘记的密码”，则正确的文档可能是标题为“帐户恢复步骤”的支持文章。使用相关性评分（例如，在 0-3 的范围内，其中 3 是完全匹配）来量化文档与查询的匹配程度。避免仅仅依赖于关键词重叠——关注语义相关性。如果您正在改造现有系统，请使用过去用户查询和点击结果的日志来推断相关性。对于新系统，请与领域专家或众包模拟用户行为。包括负面示例（不应与查询匹配的文档）以测试精度。例如，对“无线耳机”的查询应排除有线型号，即使它们共享“降噪”等关键字。
最后，构建测试集以实现可重复性。将其分为验证和测试子集：使用验证来调整模型参数（如嵌入维度或排名阈值），并保留测试集用于最终评估。确保测试集涵盖各种场景，例如短查询与长查询、单意图查询与多意图查询以及特定领域的术语。跟踪召回率@k（前k个结果中出现多少个正确的文档）、平均倒数排名 (MRR) 或归一化折损累积增益 (NDCG) 等指标来衡量性能。例如，如果您的系统在一个查询的前 10 个结果中检索到 3 个相关文档，则召回率@10 将是 3 除以该查询的总相关文档数。随着用户需求的发展定期更新测试集——例如，添加关于新产品线或新兴术语的查询（例如，“USB-C 电缆”代替“USB 3.0 电缆”）。这可确保您的评估与实际使用情况保持一致。