LlamaIndex 通过并行化文档加载、解析和嵌入生成等任务来提高效率，从而处理多线程文档处理。在处理大型数据集或多个文档时，它会将工作负载分配到多个线程中，以减少总处理时间。例如，如果您加载 100 个文档，LlamaIndex 可以将每个文件的解析分配到可用的 CPU 线程上，而不是按顺序处理它们。这种方法对于计算密集型步骤尤其有用，例如生成文本嵌入或提取元数据，并行执行可以显著加快工作流程。
启用此功能的关键组件是 LlamaIndex 的 ingestion pipeline，它可以自动执行常见任务的多线程处理。例如，当使用 SimpleDirectoryReader 加载文档时，该库可以并发处理多个文件。同样，在嵌入生成期间，LlamaIndex 会批量处理文本块，并使用线程池并行处理它们，从而避免了 OpenAI 的 text-embedding-ada-002 等模型的瓶颈。开发人员可以通过 SentenceSplitter 或 VectorStoreIndex 等组件中的 num_workers 等参数来配置线程数，从而可以根据可用的系统资源进行自定义。这种灵活性确保了小型脚本和大型应用程序的可扩展性。
但是，开发人员在使用多线程时应考虑权衡。例如，虽然线程处理可以提高 I/O 绑定任务（例如，读取文件）或具有速率限制的嵌入 API 的速度，但由于 Python 的全局解释器锁 (GIL)，CPU 密集型操作可能会面临收益递减。如果并行处理非常大的文档，线程过载也可能导致内存紧张。为了缓解这种情况，LlamaIndex 提供了调整批量大小和工作线程数的选项。例如，在典型机器上将 num_workers 限制为 4-8 个线程可以在性能和资源消耗之间取得平衡。通过将合理的默认值与可配置参数相结合，LlamaIndex 简化了多线程处理，同时让开发人员可以针对其特定用例和硬件进行优化。