为了在 LlamaIndex 中跟踪和记录查询性能，您可以使用内置工具和自定义日志策略来监控响应时间、token 使用量和检索准确性等指标。LlamaIndex 提供了在查询执行期间捕获事件的实用工具，您可以将其与标准日志库或第三方监控服务结合使用。这个过程通常包括在您的代码中进行埋点，以记录关键性能指标 (KPI)，并存储或可视化数据进行分析。
首先，利用 LlamaIndex 的回调系统捕获与查询相关的事件。CallbackManager 类允许您为查询开始、结束和节点检索等事件定义处理程序。例如，您可以创建一个自定义处理程序，通过记录执行开始和结束的时间戳来记录处理查询所花费的时间。您还可以使用 TokenPredictor 等组件来跟踪 token 计数，以便估算使用量进行成本监控。基本实现可以将日志写入文件或将指标发送到 Prometheus 等服务。例如，您可以记录每个查询的持续时间、检索到的节点数量或语言模型消耗的 token 数量。
其次，集成外部日志框架以进行更结构化的分析。Python 的内置 logging 模块可以与 LlamaIndex 的事件系统结合使用，以记录性能数据。例如，您可以配置日志记录器来捕获查询执行期间的调试级别事件，包括检索延迟或 API 错误。此外，还可以使用 Weights & Biases (W&B) 或 TensorBoard 等工具进行可视化。通过在上下文管理器中封装查询执行，您可以将响应时间和 token 计数等指标记录到 W&B 运行中，从而能够利用仪表盘进行趋势分析。如果您使用 OpenAI 模型，您还可以解析 API 响应头，直接记录精确的 token 使用量和成本。
最后，考虑跟踪特定领域的指标以评估质量。例如，通过将检索到的节点与真实数据进行比较或计算精确率/召回率分数来记录其相关性。这有助于确定性能瓶颈是源于检索准确性还是模型限制。为了自动化此过程，您可以编写后处理脚本来汇总日志、计算延迟或 token 使用量的平均值并标记异常值。通过结合这些方法——使用 LlamaIndex 的内置钩子、标准日志工具和第三方服务——您可以创建一个全面的性能监控流水线，以满足您的应用程序需求。