为了衡量语义搜索系统的有效性，应关注三类指标：传统信息检索（IR）指标、基于嵌入的相似度得分以及任务特定的成功指标。每类指标都提供了不同的视角来评估系统将用户意图与相关结果匹配得有多好。
首先，考虑标准 IR 指标，如 Precision@k 和 Recall@k。Precision@k 衡量前 k 个检索结果中相关结果的百分比。例如，如果用户搜索“如何修理漏水的管道”，而前 5 个结果中有 3 个确实是关于管道修理的，那么 Precision@5 就是 60%。Recall@k 衡量数据集中的全部相关文档有多少出现在前 k 个结果中。这些指标很直接，但需要标注数据（人类判断的相关性），并且可能无法完全捕捉语义细微差别。将它们与人工评估结合使用，以确保相关性与用户意图一致，尤其当查询涉及同义词或含糊不清的词语（例如，“苹果”是公司还是水果）时。
接下来，使用基于嵌入的指标来评估语义对齐。计算查询和文档嵌入（例如，来自 BERT 或 SBERT 等模型）之间的余弦相似度或点积，以量化语义接近度。对于排序结果，计算平均倒数排名（MRR）或归一化折扣累积增益（NDCG）。MRR 关注第一个相关结果的排名——如果正确答案在位置 3，MRR 为 1/3。NDCG 对排名靠前的相关项赋予更高的权重，这对于多级相关性（例如，“完美”、“好”、“差”匹配）很有用。当你拥有真实标注对时，这些指标效果很好，但可能会错过嵌入未能捕捉领域特定上下文的边缘情况。
最后，追踪与用户行为或业务成果相关的任务特定成功指标。例如，在电商搜索中，衡量检索到的商品的点击率（CTR）或转化率。在支持聊天机器人中，追踪代理使用搜索结果时的问题解决率或减少的升级次数。A/B 测试在此至关重要：比较不同搜索算法版本之间的会话时长或跳出率等指标。例如，如果新的语义模型使 CTR 增加了 15%，则很可能更好地契合用户意图。将这些指标与错误分析结合起来——记录常见的低置信度查询或不相关结果，以识别嵌入模型或训练数据中的差距。
总而言之，从 Precision@k 和 Recall@k 开始建立基线相关性，添加 NDCG 等基于嵌入的指标用于语义对齐，并通过 CTR 等任务特定指标进行验证。结合使用自动化评分和人工评估，以确保您的系统能处理显式和上下文相关性。