使用 LlamaIndex 与外部服务时，管理 API 速率限制需要结合主动规划、代码层面的控制和监控。速率限制是 API 为防止过度使用而施加的限制，超过限制可能导致请求被阻止或暂时禁止。为避免这种情况，可以实施请求节流、带指数退避的重试机制和缓存等策略。例如，如果某个 API 允许每分钟 100 个请求，您可以通过在每次调用之间添加延迟来均匀地分散请求。Python 的 time.sleep() 或使用 asyncio 等库进行异步调度可以帮助控制请求速度。此外，对重试使用指数退避（即每次失败尝试之间等待更长时间），以避免在暂时中断或速率限制重置期间压垮 API。
一种实用的方法是将速率限制处理直接集成到您的 LlamaIndex 工作流程中。例如，通过 LlamaIndex 的数据连接器查询外部 API 时，将 API 调用封装在一个函数中，该函数跟踪请求数量并强制执行延迟。您可以使用基于装饰器的库，如 tenacity 来自动化带退避的重试。缓存是另一种关键策略：将频繁访问的 API 响应存储在本地（使用 SQLite、Redis，甚至内存缓存），以减少冗余调用。例如，如果您的应用程序每小时获取一次天气数据，请将结果缓存起来，并在下次刷新之前从缓存中提供后续请求。LlamaIndex 的内置缓存功能或 requests-cache 等第三方工具可以简化此过程。
最后，监控 API 使用情况并根据反馈调整策略。跟踪请求计数、错误率和响应时间等指标，以识别模式。如果您注意到持续达到速率限制，请考虑减少并发或增加批次之间的延迟。许多 API 在响应中提供了速率限制标头（例如 X-RateLimit-Limit, X-RateLimit-Remaining）——使用这些标头来动态调整您的代码行为。例如，如果 X-RateLimit-Remaining 低于 10，则暂停请求直到限制重置。Prometheus 或自定义日志记录等工具可以帮助可视化使用趋势。务必查阅 API 提供商的文档，了解具体的速率限制和合规性要求，因为这些要求在不同服务之间差异很大。通过结合这些技术，您可以确保与外部 API 的可靠集成，同时遵守其限制。