LlamaIndex 处理分词和词形还原的方式是依赖外部库和集成，而不是原生实现这些过程。分词是将文本分解为更小的单元（例如单词或子词）的过程，通常使用 LlamaIndex 连接的底层语言模型 (LLM) 相关的分词器进行管理。例如，与 OpenAI 模型集成时，LlamaIndex 使用 tiktoken 库将文本分割成与模型要求一致的 token。这确保了与 LLM 上下文窗口的兼容性，并避免了因分词不匹配导致的错误。开发者还可以根据具体需求，使用其他分词器来自定义分词，例如 Hugging Face 的 transformers 库中的分词器。
词形还原（将单词还原为基本形式或词典形式，例如“running”→“run”）不是 LlamaIndex 的内置功能。相反，开发者需要在将文本数据传递给 LlamaIndex 进行索引或查询之前，使用 NLTK 或 SpaCy 等外部自然语言处理 (NLP) 库进行预处理。例如，如果项目需要词形还原以提高搜索一致性，开发者可以使用 SpaCy 的 lemmatizer 组件来规范文档和查询中的单词。LlamaIndex 专注于索引和检索任务，因此假定此类文本规范化步骤在数据管道的上游处理。这种设计使得库保持轻量化，并允许灵活选择预处理工具。
虽然 LlamaIndex 不直接管理分词或词形还原，但它提供了钩子，供开发者集成自定义处理。例如，构建文档摄取管道时，开发者可以添加一个预处理步骤，使用 Hugging Face 的 BertTokenizer 进行分词，并使用 NLTK 的 WordNetLemmatizer 进行词形还原。然后 LlamaIndex 处理规范化后的文本以进行索引。这种方法确保了库专注于高效的数据结构化和检索，同时利用成熟的 NLP 工具处理语言特定任务。开发者应注意 token 限制以及预处理与 LLM 分词器之间的一致性，以避免查询结果不匹配。