OpenAI API 速率限制控制您在特定时间内可以向 API 发出的请求数量，以防止滥用并确保为所有用户提供可靠的服务。速率限制通过两种方式应用：**每分钟请求数 (RPM)** 和**每分钟令牌数 (TPM)**。 RPM 限制您每分钟可以发送的 API 调用数量，而 TPM 限制在一分钟内处理的所有请求中的令牌（文本单位）总数。 例如，GPT-4 的默认层可能允许 3,500 RPM 和 90,000 TPM。 这些限制因您的帐户类型、使用历史记录以及您正在使用的特定模型而异。 令牌的计数包括输入和输出，因此包含 1,000 个令牌提示和 500 个令牌响应的请求将消耗 1,500 个令牌，计入您的 TPM 限制。
速率限制在组织或项目级别强制执行，具体取决于您的 API 密钥的配置方式。 如果您超过限制，API 将返回一个 429 Too Many Requests 错误，您需要等待或调整您的请求速率。 例如，如果您的应用程序在 10 秒内向 GPT-3.5 发送 100 个请求，而 GPT-3.5 的 RPM 限制为 3,500，那么除非您错开请求，否则您可能会很快达到上限。 每分钟令牌数的限制也需要进行平衡——一个大的请求（例如，总结一个长文档）可能会消耗您的大部分 TPM，几乎没有为其他任务留下空间。 为了避免错误，开发人员必须跟踪 RPM 和 TPM 的使用情况，通常通过检查 API 响应中的 x-ratelimit-remaining-requests 和 x-ratelimit-remaining-tokens 标头。
OpenAI 允许用户通过其支持团队请求更高的速率限制，但批准取决于历史使用情况和安全合规性等因素。 为了在现有限制内进行优化，开发人员可以实施请求排队、缓存频繁响应或将大型任务分解为较小块等策略。 例如，与其在一个调用中处理 10,000 个令牌，不如将其拆分为十分钟内间隔开来的十个 1,000 个令牌的请求。 像指数退避（以增加的延迟重试失败的请求）之类的工具也有助于管理瞬时速率限制错误。 通过 OpenAI 的仪表板或自定义日志记录监控使用情况，确保您保持在范围内并根据需要调整工作流程。