文档频率（DF）通过帮助确定一个词项在文档集合中的重要程度，在评分算法中扮演着关键角色。简单来说，DF 衡量了一个特定词项在语料库中出现的文档数量。此指标是 TF-IDF（词项频率-逆文档频率）等评分方法的基础，它直接影响分配给词项的权重。核心思想是，在许多文档中出现的词项区分度较低——它们无法帮助区分文档——因此对文档相关性得分的贡献应该较少。相反，在较少文档中出现的词项被认为更独特，在评分中被赋予更高的权重。
例如，考虑一个索引技术文章的搜索引擎。一个像“数据”这样的常用词项可能会出现在大多数文档中，导致 DF 很高。正因为如此，其逆文档频率（IDF）——TF-IDF 的一个组成部分——会很低，从而降低其对评分的整体影响。另一方面，像“量子纠缠”这样的专业词项可能只出现在少数文档中，这使得其 DF 较低，IDF 较高。这意味着包含“量子纠缠”的文档在涉及该词项的查询中排名会更高。开发人员在实现搜索功能时经常使用 DF 来过滤掉过于常用的词项或提升罕见的词项。例如，在 Elasticsearch 或基于 Lucene 的系统中，DF 在倒排索引中被跟踪，从而在查询处理过程中实现高效的 IDF 计算。
从实践角度来看，忽略 DF 可能导致搜索结果不佳。例如，如果评分系统没有考虑 DF，对“Python 数组”的查询可能会返回不相关的文档。“Python”一词可能指代编程语言或蛇，但如果“Python”出现在许多文档中（高 DF），其 IDF 会很低，降低其影响力。同时，“数组”（假设它不太常用）将具有更高的 IDF，有助于优先显示侧重于编程的文档。开发人员还应该注意边缘情况，例如 DF 极低的词项（例如，拼写错误或行话），这可能需要额外处理。BM25 是一种现代评分算法，建立在 DF 概念之上，但引入了参数来微调文档长度和词项频率与 DF 的相互作用方式，从而对排名行为提供了更多控制。理解 DF 可确保评分模型有效地平衡词项的特异性和常用性。
