OpenAI 模型以称为 token 的块处理文本，这些 token 代表文本的单元（如单词或单词的部分）。Token 限制因模型而异，并决定了 AI 在单个请求中可以处理多少文本。 例如，GPT-3.5 Turbo 的默认限制为 4,096 个 token，而 GPT-4 的标准版本最多支持 8,192 个 token，扩展选项可达 32,768 个 token。 这些限制适用于组合的输入和输出 - 如果您的输入使用 3,000 个 token，则在使用 GPT-3.5 Turbo 时，模型最多可以生成 1,096 个 token 的响应。 超过限制会导致请求失败或截断文本，因此开发人员必须仔细跟踪 token 计数。
Token 限制直接影响开发人员设计应用程序的方式。 例如，使用 GPT-3.5 Turbo 总结一个 10 页的文档（大约 5,000 个 token）将需要将文本拆分成更小的块，或者使用具有更高限制的模型，如 GPT-4。 同样，构建聊天机器人需要将对话历史记录保持在 token 窗口内。 开发人员经常使用截断、省略旧消息或总结过去交互等策略来保持在限制范围内。 像 OpenAI 的 tiktoken 库这样的工具可以帮助以编程方式计算 token，确保输入符合模型的约束。 对于代码生成任务，其中长上下文很常见，选择具有更高 token 容量的模型对于避免不完整的输出至关重要。
理解 token 限制还涉及成本、延迟和功能之间的权衡。 具有更高限制的模型，如 GPT-4-32k，更昂贵且速度较慢，但可以实现复杂的任务，如分析法律合同或生成冗长的报告。 相反，较小的限制迫使开发人员优化输入，但降低了成本。 例如，使用 GPT-3.5 Turbo 的支持票证系统可能需要在将用户查询发送到 API 之前预处理用户查询以删除不相关的详细信息。 始终查看 OpenAI 的文档以获取最新的限制，因为它们因模型版本而异，并且可能会随着时间的推移而更改。 平衡这些因素是构建高效、可扩展应用程序的关键。