在 RAG（检索增强生成）系统中，人工评估通过弥补在衡量主观、上下文相关的质量（如清晰度、正确性和有用性）方面的差距来补充自动化指标。 虽然自动化指标（例如，BLEU、ROUGE）为文本重叠或语义相似性提供可扩展的定量分数，但它们通常会忽略对最终用户而言重要的细微差别。 例如，RAG 生成的答案在 BERTScore 上可能因与参考文本的语义相似性而得分很高，但仍然包含事实错误或缺乏连贯性。 人工评委可以直接评估答案的逻辑结构是否合理、事实是否准确，以及是否根据用户的意图进行定制——这些维度很难通过算法量化。
人工评估对于识别自动化指标不足的边缘情况尤为重要。 例如，RAG 系统可能会生成技术上正确的答案，但过于冗长或未能优先考虑关键信息。 人工评估员可以对响应的清晰度进行评分（例如，1-5），并提供可操作的反馈，例如建议对故障排除指南中的步骤进行重新排序。 同样，正确性不仅仅是匹配关键字——它需要验证答案是否与特定领域的知识相符。 例如，医学 RAG 系统可能会引用过时的治疗指南，而自动化指标不会标记这些指南，但人工专家会立即注意到该错误。 有用性是另一个主观因素：答案可能是正确的，但缺乏可操作的步骤（例如，“咨询医生”而不是解释症状管理），人工评委可以根据实际应用来评估这一点。
将人工评估与自动化指标相结合可以创建一个平衡的反馈循环。 自动化工具可以处理大规模测试并发现明显的错误（例如，语法问题），而人工评委则专注于质量上的改进。 例如，在开发过程中，团队可能会使用自动化指标来过滤掉低置信度的响应，然后让人工审查员分析输出的一个子集，以改进模型的训练数据。 这种混合方法确保了可扩展性，而不会牺牲评估的深度。 开发人员还可以使用人工反馈来校准自动化指标——例如，如果评委一直认为简洁性比特定用例中的技术细节更重要，则可以调整评分算法中的权重。 通过整合这两种方法，团队可以构建不仅高效而且符合用户需求的 RAG 系统。
