Haystack 通过模块化组件与已建立的 NLP 库的集成来处理分词和文本预处理。该框架将分词任务委托给专门的工具，如 spaCy 或 Hugging Face 的分词器，具体取决于管道配置。例如，在处理基于 Transformer 的模型（例如，BERT）的文本时，Haystack 使用 Hugging Face 的 AutoTokenizer 将输入拆分为与模型要求匹配的子词或 token。这确保了与预训练模型的兼容性，同时避免了重新发明底层分词逻辑。开发人员还可以交换分词器（例如，使用 spaCy 进行基于规则的单词拆分）以与特定的语言规则或领域需求对齐。
Haystack 中的文本预处理通过可定制的管道进行管理。PreProcessor 类提供了用于清理和将文档分割成更小单元（如段落或句子）的实用程序，这些单元对于检索或问答等任务至关重要。例如，一个文档可能被分割成 150 个单词的块，并有 50 个单词的重叠，以确保段落之间不会丢失上下文。预处理器可以删除多余的空格、过滤短文本或根据特定标准进行分割（例如，split_by="word" 或 split_by="sentence"）。开发人员可以通过添加自定义清理函数（如剥离 HTML 标签或规范化 Unicode 字符）来扩展这些功能，以处理专门的数据源，如网页或用户生成的内容。
Haystack 的设计强调灵活性，允许分词和预处理步骤适应工作流程中的不同组件。例如，像 Elasticsearch 的 BM25 这样的检索器可能使用简单的空格分词进行关键字匹配，而像 DPR 这样的密集检索器则需要与其模型训练期间使用的相同分词。通过解耦这些步骤，Haystack 允许开发人员混合和匹配工具——例如，将 spaCy 用于句子分割与 Hugging Face 分词器用于 Transformer 模型——而无需强制采用一刀切的方法。这种模块化确保了预处理保持高效，并根据每个管道阶段的特定要求进行定制，无论是索引文档还是解析查询。