稀疏检索和稠密检索是在大型数据集中查找相关信息的两种方法，常用于搜索引擎和推荐系统。 关键区别在于它们如何表示和比较数据。 稀疏检索方法，如 TF-IDF 或 BM25，将文本表示为高维向量，其中大多数维度为零，编码特定词语的存在与否。 例如，一篇关于“机器学习”的文档可能在这些精确术语上具有高值，但在不相关的词语（如“自行车”）上具有零值。 另一方面，稠密检索使用神经网络将文本映射到较低维度、连续的向量（嵌入），从而捕捉语义含义。 这些向量是“稠密的”，因为每个维度都包含非零值，即使精确的关键字不匹配，也可以衡量相似性。 例如，如果“AI 算法”的查询与“神经网络”的文档的嵌入在向量空间中很接近，则可能仍然检索到关于“神经网络”的文档。
稀疏检索擅长于关键字匹配至关重要的场景。 例如，在法律文档搜索中，找到像“违反合同”这样的精确短语比解释意图更重要。 Elasticsearch 或 Apache Lucene 等工具使用稀疏方法，因为它们速度快，需要的计算资源最少，并且能很好地处理结构化查询。 然而，稀疏方法在同义词（“汽车”与“轿车”）或上下文相关的含义（“Apple”作为一家公司与水果）方面存在困难。 它们也无法有效地处理拼写错误或释义查询。 例如，搜索“如何修理自行车”可能会错过使用“repair bicycle”的文档，因为重叠的关键字有限。 这种刚性使得稀疏检索对于现代应用中常见的复杂、会话式查询不太有效。
稠密检索通过关注语义理解来解决这些局限性。 像 BERT 或 Sentence Transformers 这样的模型生成嵌入，将相关的概念分组到向量空间中。 例如，“电影”、“影片”和“电影院”的嵌入会比不相关的术语更接近。 这允许搜索“科幻电影”以返回提及“太空影片”的结果，即使不存在确切的术语“科幻”。 然而，稠密方法需要大量的计算能力来进行训练和推理，并且它们依赖于高质量的训练数据来避免偏差。 它们非常适合像聊天机器人或推荐系统这样的应用，在这些应用中，用户意图比确切的措辞更重要。 混合方法——结合稀疏检索和稠密检索——正变得越来越普遍，利用关键字的精确性和语义搜索的灵活性来平衡速度和准确性。