什么是信息检索 (IR) 中的词频 (TF)？ 词频 (TF) 是信息检索 (IR) 中的一个基本概念，用于量化特定单词或术语在文档中出现的频率。它的计算方法是：一个术语在文档中出现的次数除以该文档中术语的总数。例如，如果单词“算法”在 1,000 个单词的文档中出现 15 次，则其 TF 为 15/1000 = 0.015。核心思想是，在文档中出现频率较高的术语可能与其内容更相关。然而，TF 本身并不能解释该术语在文档集合中的重要性——这就是逆文档频率 (IDF) 发挥作用的地方。
TF 在 IR 系统中的作用 在像搜索引擎这样的 IR 系统中，TF 有助于根据文档与用户查询的相关性对其进行排序。例如，如果用户搜索“数据结构”，引擎会计算每个文档中“数据”和“结构”的 TF。 “数据”在 500 个单词中出现 20 次（TF = 0.04）并且“结构”出现 10 次（TF = 0.02）的文档可能比两个术语出现频率较低的文档排名更高。但是，TF 存在局限性：像“the”或“and”这样的常见词可能具有较高的 TF 值，但没有意义。为了解决这个问题，在计算 TF 之前，通常会应用诸如停用词删除（过滤掉常见词）或词干提取（将词简化为词根形式，例如，“running” → “run”）之类的预处理步骤。
开发人员的实用注意事项 在实现 TF 时，开发人员通常使用字典或哈希映射之类的数据结构来有效地跟踪术语计数。例如，在 Python 中，您可以循环遍历文档的单词，增加 defaultdict(int) 中的计数。 规范化（调整文档长度）对于避免偏袒较长的文档至关重要。 一种简单的方法是将术语计数除以文档的总字数。 在实践中，TF 很少单独使用；它与 TF-IDF 算法中的 IDF 结合使用，以降低在文档中出现频率过高的术语的权重（例如，公司收件箱数据集中的“email”）。 开发人员还应考虑权衡：原始术语计数计算速度很快，但对数缩放（例如，1 + log(tf)）可以减少非常高频率的影响。 这些选择取决于应用程序，例如优化搜索相关性或改进聚类算法。