LangChain 允许通过文档加载器、文本处理和检索增强生成与外部数据源集成。 该框架提供了从各种格式（PDF、数据库、API）加载数据、将其处理成可用块以及将其连接到语言模型以获得上下文感知响应的工具。 此过程通常涉及嵌入数据以进行高效的相似性搜索，并将其存储在向量数据库中，以便在查询期间快速检索。
首先，使用 LangChain 的文档加载器导入数据。 例如， CSVLoader 读取 CSV 文件， UnstructuredFileLoader 处理 PDF 或 Word 文档， WebBaseLoader 抓取网页内容。 加载后，使用文本分割器（如 RecursiveCharacterTextSplitter）将文本分割成易于管理的块，这样既可以保留上下文，又可以避免 token 限制。 这些块使用 OpenAI 的 text-embedding-ada-002 等模型转换为嵌入（向量表示）。 将嵌入存储在向量数据库中，例如 FAISS、Chroma 或 Pinecone。 在查询期间，LangChain 会根据语义相似性检索最相关的块，并将它们作为上下文提供给语言模型。 例如，RetrievalQA 链组合了检索和生成步骤，以使用外部数据回答问题。
开发人员可以自定义此工作流程。 对于 API 或实时数据，可以使用 APIFetcher 工具或构建自定义加载器。 LangChain Agents 通过动态选择何时查询外部数据来扩展功能。 例如，代理可以先检查数据库中的产品库存，然后再回答客户查询。 您还可以微调检索参数，例如块大小或元数据过滤，以提高相关性。 通过组合这些组件，LangChain 创建了灵活的管道，将语言模型输出建立在外部数据的基础上，从而确保准确性并减少幻觉。