BLEU 的计算方式及其与事实正确性的关联
BLEU（双语评估辅助工具）是一种用于评估机器生成的文本（例如，机器翻译或摘要）质量的指标，通过将其与人类编写的参考文本进行比较。它通过测量候选文本和参考文本之间的**n-gram 重叠**来进行评估。以下是一个简化的分解：
- **N-gram 精度**: BLEU 计算不同长度（通常为 1 到 4 个 n-gram）的 n-gram（连续的单词序列）的精度。例如，如果候选句子与参考句子共享 4 个独特的 4-gram 中的 3 个，则其 4-gram 精度为 0.75。
- **修正精度**: 为了避免过度计算重复的 n-gram，BLEU 会将候选文本中每个 n-gram 的计数裁剪为它在任何参考文本中的最大计数。
- **长度惩罚**: 这惩罚了过短的候选文本。如果候选文本的长度短于参考文本，则分数会呈指数下降。最终的 BLEU 分数是这些 n-gram 精度的加权几何平均值，乘以长度惩罚，并缩放到 0（无重叠）和 1（完美匹配）之间。
**更高的 BLEU 分数意味着答案更符合事实吗？** 不。BLEU 衡量的是**词汇和结构相似性**，而不是事实的正确性。例如：
- 候选答案可能与参考答案具有很高的 n-gram 重叠率，但包含事实错误。假设参考文本声明“月球在 27 天内绕地球运行”，而候选文本说“月球在 27 天内绕火星运行”。尽管存在事实错误，但 4-gram 重叠（“月球绕……在 27 天内运行”）将产生很高的 BLEU 分数。
- 相反，一个释义的答案，如果事实正确但措辞不同（例如，“地球的卫星每 27 天完成一次轨道运行”），由于词汇差异，可能会得分较低。BLEU 对语义和上下文视而不见。它平等地对待所有 n-gram，无论它们代表关键事实还是微不足道的短语。
**何时使用 BLEU（以及何时不使用）** BLEU 对于**快速、自动化的文本相似性比较**非常有用，尤其是在短语很重要的翻译等任务中。开发人员经常使用它来对模型迭代进行基准测试。但是，对于需要事实准确性的应用程序（例如，医学摘要或技术文档），BLEU 应该辅以：
- **事实核查工具**：用于验证声明。
- **语义指标**：例如 ROUGE（用于内容重叠）或 BERTScore（用于上下文嵌入）。
- **人工评估**：用于评估正确性和连贯性。简而言之，BLEU 是一种用于衡量“有多相似”而不是“有多正确”的工具。
[参考] 虽然提供的来源讨论了“指标”和“计算”等一般概念，但它们没有直接涉及 BLEU。此解释基于标准的 NLP 文献和最佳实践。
