LlamaIndex 中的批量处理涉及同时处理多个文档或查询，以提高处理大型数据集时的效率。 当您需要从大量文件中索引或检索信息，而无需一次处理一个文件时，这尤其有用。 核心思想是利用 LlamaIndex 的内置工具来批量管理数据，减少冗余操作并优化资源使用。
要实现批量处理，首先使用 LlamaIndex 的 SimpleDirectoryReader 从目录中加载多个文档。 例如，如果您有一个包含数百个文本文件的文件夹，则此读取器可以一次性导入所有文件，将其转换为 LlamaIndex 的 Document 对象。 加载后，您可以使用 VectorStoreIndex 类来创建嵌入，并在单个操作中为这些文档编制索引。 如果您的文档需要预处理（例如将文本拆分为更小的块），请使用 NodeParser（例如，SimpleNodeParser）批量生成节点。 例如，如果按顺序执行，将 1,000 个文档解析为节点可能需要几分钟而不是几个小时。 查询时，使用异步方法或批量推理 API（如果您的 LLM 支持）并行处理多个查询，从而减少延迟。
需要考虑的因素包括内存管理和 API 速率限制。 例如，一次嵌入 10,000 个文本块可能会耗尽 GPU 内存，因此您可能需要将批量拆分为更小的组（例如，每批 500 个块）。 LlamaIndex 的 ServiceContext 允许配置 LLM 和嵌入模型等组件来处理批量，而 ThreadPoolExecutor 等工具可以并行化任务。 始终测试批量大小以平衡速度和稳定性。 批量处理非常适合为公司知识库编制索引或分析日志等场景，在这些场景中，处理单个项目是不切实际的。