处理 OpenAI API 中的速率限制需要了解限制、实施重试逻辑并优化您的使用方式。 强制执行速率限制是为了确保公平访问和系统稳定性，通常以每分钟请求数 (RPM) 和每分钟令牌数 (TPM) 来衡量。 超过这些限制会导致 HTTP 429 错误。 为了避免中断，您需要跟踪您的使用情况、优雅地处理错误并调整您的请求模式。
首先，使用响应中提供的标头监控您的 API 使用情况。 OpenAI 包括诸如 x-ratelimit-limit-requests、x-ratelimit-remaining-requests 和 x-ratelimit-reset-requests（用于 RPM）之类的标头，以及类似的用于 TPM 的标头。 例如，如果您的代码收到 429 错误，请检查这些标头以确定您是否已达到 RPM 或 TPM 限制。 如果限制是 RPM，您可能需要暂停请求，直到重置时间（在 retry-after 标头中提供）。 对于 TPM 限制，减少提示或响应的大小。 一种实用的方法是计算每个请求的令牌使用量（使用 OpenAI 的分词器等工具）并保持运行记录以保持在 TPM 阈值以下。
其次，使用指数退避实施重试逻辑。 发生 429 错误时，请等待越来越多的时间然后再重试。 例如，从 1 秒的延迟开始，然后在每次后续重试时将其加倍（例如，2 秒、4 秒）。 这样可以防止在临时高峰期间使 API 过载。 在 Python 中，您可以使用 tenacity 库或带有 time.sleep() 的自定义循环。 这是一个简化的例子
import time
from openai import OpenAI
client = OpenAI()
def make_request():
retries = 0
max_retries = 5
while retries < max_retries:
try:
return client.chat.completions.create(model="gpt-3.5-turbo", messages=[...])
except APIError as e:
if e.status_code == 429:
delay = (2 ** retries) + 1
time.sleep(delay)
retries += 1
else:
raise
raise Exception("Max retries exceeded")
第三，优化您的 API 使用。 尽可能将多个任务批处理到单个请求中。 例如，不要为 10 个翻译发送单独的请求，而是使用 messages 数组在一个 API 调用中将它们作为列表发送。 减少 max_tokens 以限制响应大小，并缓存频繁或重复的查询。 如果您正在流式传输响应（使用 stream=True），请以增量方式处理令牌以避免达到 TPM 限制。 此外，如果您的应用程序的规模超出了单个密钥的限制，请考虑跨多个 API 密钥分配请求。 通过结合这些策略，您可以保持可靠的 API 访问，同时最大限度地减少错误。