LangChain 通过其回调系统和链组件，以递增的方式处理输入并生成输出，从而处理流式数据。LangChain 不是等待完整的响应，而是在数据可用时以块的形式发送数据。这种方法对于需要实时交互的应用程序（如聊天机器人或实时数据处理）特别有用。开发人员可以通过使用内置处理程序或创建自定义回调来实施流式传输，这些回调接收和处理语言模型生成的每一段数据。
例如，LangChain 的 StreamingStdOutCallbackHandler 允许开发人员将生成的文本直接流式传输到控制台。当使用像 OpenAI 的 GPT 这样的语言模型时，处理程序会在生成令牌时捕获它们并立即打印出来。这避免了因等待完整响应而造成的延迟。同样，开发人员可以创建自定义回调，以实时地将数据发送到 Web 套接字、API 或其他外部系统。如果您正在使用涉及多个步骤的链（例如，检索文档然后生成答案），LangChain 可以流式传输中间结果，例如检索到的上下文或部分答案，以及最终输出。
实际用例包括逐字显示响应的聊天机器人，或者以增量方式处理大型数据集的应用程序。然而，流式传输引入了挑战，例如处理部分数据或确保与下游系统的兼容性。例如，如果响应包含结构化数据（如 JSON），开发人员可能需要缓冲令牌，直到完整的对象可用。LangChain 的灵活性允许进行自定义以解决这些场景，但需要仔细实施才能在实时交付和数据完整性之间取得平衡。总体而言，LangChain 中的流式传输通过其回调架构进行管理，该架构提供了对数据流的精细控制。