为了在 LangChain 中处理 Token 限制并优化性能，需要关注三个关键领域：输入管理、处理效率和模型选择。首先，使用 LangChain 的文本分割器将大型输入分解为更小的块，这可以在避免溢出的同时保持上下文。例如，RecursiveCharacterTextSplitter 在自然边界（段落、句子）处分割文本，并带有重叠以保留含义。当使用像 RetrievalQA 这样的链时，将其与向量存储配对，以仅检索相关的文档部分，从而减少输入大小。始终在发送到模型之前截断或总结不必要的内容。
接下来，通过缓存重复请求和简化提示来优化处理。 LangChain 的 Memory 组件存储先前的交互，避免对类似查询进行冗余 API 调用。通过删除填充文本来简化提示——例如，不要使用冗长的解释，而是使用直接的指令，如“用 3 句话概括这个”。对于复杂的任务，使用 MapReduceChain 将工作拆分为可并行化的子任务（map 步骤）并有效地组合结果（reduce 步骤）。异步处理（通过 async/await）可以通过避免阻塞调用来进一步加速批量操作。
最后，策略性地选择模型。与更大的模型（如 gpt-4）相比，较小的模型（如 gpt-3.5-turbo）可以以更低的 Token 成本和延迟处理基本任务。对于重复性任务，微调一个较小的模型可以减少对昂贵 API 的依赖。当流式传输响应时，使用 LangChain 的回调系统以增量方式处理输出，从而提高感知性能。始终通过内置回调或日志记录来监控 Token 使用情况，以识别瓶颈。例如，跟踪 OpenAI 响应中的 token_usage 元数据，以审计成本并相应地调整块大小或模型参数。