大型语言模型（LLM）可以处理的最大输入长度取决于其架构和配置。大多数模型都有一个固定的“上下文窗口”，它定义了它们在单个请求中可以处理的 token（词元或子词）数量。例如，OpenAI 的 GPT-3.5-turbo 支持高达 16,384 个 token，而 GPT-4 提供 8,192 或 32,768 个 token 的变体。其他模型，如 Anthropic 的 Claude 2，将此限制扩展到 100,000 个 token。这些限制包括输入和输出，因此更长的提示会减少用于响应的空间。开发者必须查阅特定模型的文档，因为超出 token 限制通常会导致截断或错误。
输入长度限制直接影响开发者如何设计应用程序。例如，总结一篇冗长的文档需要将其分割成适合模型上下文窗口的块。API 通常提供工具来在发送请求前计算 token。例如，OpenAI 的 tiktoken 库有助于估算 token 使用量。如果模型的限制是 4,096 个 token，一个 5,000 个 token 的查询就需要进行裁剪——可以通过删除部分、缩短句子或优先保留关键内容来实现。有些模型允许流式处理或迭代处理，即将一个请求的输出作为下一个请求的输入，但这会增加复杂性和延迟。
处理长输入通常涉及权衡。虽然有些模型支持微调以扩展其有效上下文，但这需要大量的计算资源。诸如“滑动窗口”处理（重新分析重叠的文本片段）或分层摘要等技术可以缓解限制，但可能会丧失连贯性。例如，为法律文档构建聊天机器人的开发者可能会将合同分割成章节，分别进行摘要，然后合并结果。务必测试边缘情况：一个 32k token 的模型可能仍然难以处理高度技术性或密集的文本。理解这些限制可以确保系统设计的现实性，并避免生产环境中的意外故障。