如何在 LlamaIndex 中处理文档去重？

要在 LlamaIndex 中处理文档去重，您可以使用内置工具和自定义逻辑来识别和删除冗余内容。LlamaIndex 通过将文档拆分成“节点”（文本块）来处理文档，去重通常在此节点级别进行。该框架提供了一个 DeduplicatePostProcessor 类，您可以将其集成到索引或查询流程中。此后处理器使用余弦距离或精确哈希等相似性度量来比较节点，并根据阈值删除重复项。例如，您可以将其配置为丢弃相似度得分高于 0.95 的节点，以确保数据集中只保留唯一内容。

一种常见的方法是使用嵌入来检测语义重复项。例如，您可以使用 Sentence-BERT 等模型为每个节点生成嵌入，并计算成对相似度。超出相似性阈值的节点会被标记为重复项。或者，对于精确重复项，您可以对节点文本进行哈希处理（例如，使用 MD5 或 SHA-256），并移除具有相同哈希值的条目。LlamaIndex 通过允许您将 dedupe_fn 传递给后处理器来简化此过程。例如，dedupe_fn=lambda text: hashlib.md5(text.encode()).hexdigest() 将触发精确匹配去重。您可以结合使用这两种方法——使用哈希处理进行精确匹配，使用嵌入处理近似重复项——以平衡精度和计算成本。

实现步骤通常涉及将后处理器添加到您的索引或查询流程中。以下是一个基本示例

from llama_index.core import VectorStoreIndex, ServiceContext
from llama_index.core.postprocessor import DeduplicatePostProcessor

# Create index
service_context = ServiceContext.from_defaults()
index = VectorStoreIndex.from_documents(documents, service_context=service_context)

# Add deduplication during querying
query_engine = index.as_query_engine(
 node_postprocessors=[DeduplicatePostProcessor()]
)

考虑在索引期间应用去重以降低存储成本，或在查询期间应用以确保实时结果。请注意阈值：过严可能删除有效内容，过宽则有冗余风险。测试不同的相似性度量（例如，余弦相似度 vs. Jaccard 相似度）以与您的数据特性相符。对于大型数据集，通过批量比较或使用近似最近邻库（如 FAISS）来优化性能。