要优化 LlamaIndex 查询性能，请关注三个关键领域：高效的数据索引、查询配置调整以及利用缓存或硬件加速。首先，确保您的数据结构化并为您的用例适当索引。 例如，在拆分文档时调整块大小和重叠参数。 较小的块会减少检索期间的计算开销，但可能会丢失上下文，而较大的块会以较慢的处理速度为代价保留上下文。 使用元数据过滤器来缩小搜索空间——例如，使用时间戳或类别标记文档可以使您在查询管道的早期排除不相关的数据。 像 SimpleNodeParser 或 SentenceWindowNodeParser 这样的工具可以帮助平衡基于数据类型的粒度和上下文保留。
接下来，通过调整 LlamaIndex 设置来优化查询执行。 减少 similarity_top_k 参数以限制每个查询检索的节点数，从而加快响应时间。 例如，获取 3 个结果而不是 10 个会减少向量比较工作。 尝试混合搜索方法：将向量相似性与基于关键字的过滤器 (BM25) 结合使用，以提高相关性，同时避免详尽的向量扫描。 配置 ResponseSynthesizer 以使用像 tree_summarize 这样的紧凑模式，而不是较慢的迭代方法。 如果使用 OpenAI 模型，请设置较低的温度值和较短的 max_tokens 限制以减少生成时间。 始终测试不同的嵌入模型（例如，text-embedding-3-small 与 all-mpnet-base-v2）以找到最适合您数据的速度/准确度权衡。
最后，实施缓存和硬件优化。 使用 SimpleCache 在本地缓存常用的嵌入，或集成 Redis 以进行分布式缓存。 通过运行像 bge-small-en 这样的支持 CUDA 的模型，使用 GPU 加速来生成嵌入。 对于大型数据集，将向量存储卸载到像 Pinecone 或 PGVector 这样的专用数据库，而不是内存存储。 异步查询处理（通过 async_query）可以并行化诸如获取节点和合成响应之类的任务。 如果处理许多类似的查询，请预先计算静态数据集的嵌入。 例如，支持聊天机器人可以预先嵌入所有文档文章，从而将运行时工作减少到仅查询执行。 这些步骤共同减少了延迟和资源使用，而不会牺牲结果质量。