要使用 Haystack 执行实体抽取，您需要使用其基于管道的架构来处理文本并识别实体，例如姓名、日期或地点。 Haystack 提供了预构建的组件以及与流行的 NLP 模型的集成，使您可以构建针对您的数据量身定制的工作流程。该过程通常涉及初始化模型（例如基于 transformer 的 NER 模型）、设置预处理步骤以及配置管道以提取并返回结构化结果。
首先，使用 pip install farm-haystack 安装 Haystack 及其依赖项。 接下来，选择一个用于命名实体识别 (NER) 的模型。 例如，Hugging Face 的 dslim/bert-base-NER 模型可检测四种实体类型：地点 (LOC)、组织 (ORG)、人物 (PER) 和其他 (MISC)。 使用 Haystack 的 TransformersNERPredictor 或类似组件初始化模型。 您还需要一个 PreProcessor 将大型文档拆分为易于管理的小块，以确保不超过模型的 token 限制。 使用这些组件配置一个管道，按顺序连接它们：预处理 → 推理 → 实体抽取。
这是一个简化的示例
from haystack import Pipeline
from haystack.nodes import TransformersNERPredictor, PreProcessor
# Initialize components
processor = PreProcessor(split_by="sentence")
model = TransformersNERPredictor(model_name="dslim/bert-base-NER")
# Build pipeline
pipeline = Pipeline()
pipeline.add_node(component=processor, name="preprocessor", inputs=["File"])
pipeline.add_node(component=model, name="ner_model", inputs=["preprocessor"])
# Run extraction
results = pipeline.run(file_paths=["document.txt"])
entities = results["results"]
此代码处理文本文件，将其拆分为句子，并识别每个块中的实体。 输出是一个实体列表，其中包含它们的类型和在文本中的位置。
在实施此操作时，请考虑模型限制和数据预处理。 例如，transformer 模型具有 token 限制（通常为 512 个 token），因此拆分文档至关重要。 调整 PreProcessor 的 split_length 或 split_overlap 以避免将实体切成两半。 您还可以对结果进行后处理，以合并跨块拆分的实体或过滤低置信度预测。 如果您的用例需要自定义实体类型（例如产品代码），则需要微调模型或使用基于规则的方法，将正则表达式与 NER 结合使用。 Haystack 的灵活性允许在单个管道中混合使用这些方法。