为了衡量法律搜索系统的有效性，请关注评估相关性、精确度和用户满意度的指标。首先是 K 的精确率（precision at K）（例如，P@5 或 P@10），它衡量了排在前列的结果中有多少与法律查询真正相关。例如，如果用户搜索“版权侵权判例”，并且前 5 个结果中有 3 个命中，那么 P@5 就是 60%。这在法律环境中至关重要，因为用户需要快速获得高度具体的结果。将其与召回率（recall）结合起来，召回率衡量数据集中的所有相关文档是否都被检索出来，即使它们不在靠前的位置。低召回率可能意味着遗漏了关键的判例法、法规或条例。
接下来，考虑平均倒数排名（Mean Reciprocal Rank, MRR），以评估系统对第一个相关结果的排名表现。法律专业人士一旦找到有用的文档，往往会停止扫描，因此 MRR 突显了最关键的结果是否出现在靠前的位置。例如，如果第一个相关案例在一个查询中出现在第 3 位，在另一个查询中出现在第 2 位，那么 MRR 就是 (1/3 + 1/2)/2 ≈ 0.42。此外，归一化折损累计增益（Normalized Discounted Cumulative Gain, NDCG）考虑了分级相关性（例如，高度相关与部分相关），这在对相关程度不同的文档进行排名时非常有用。例如，一个具有里程碑意义的最高法院裁决的权重会高于一个下级法院的判决。
最后，跟踪查询延迟（query latency）和用户参与度指标（user engagement metrics）。法律数据库通常很大，因此即使是复杂的查询，响应时间也应保持合理（例如，低于 500 毫秒）。用户行为——如点击率、在文档上花费的时间或重复查询——可以间接表明相关性。例如，如果用户在初始结果后频繁地调整搜索，可能表明查询与结果之间存在不匹配。将这些指标与领域特定的评估相结合，例如测试系统处理布尔运算符或法律引用（例如，“Smith v. Jones, 2020 U.S. Dist. LEXIS 12345”）的能力。定期根据专家标注的数据集验证指标，以确保与真实的法律需求一致。