检索增强生成 (RAG) 通过将实时数据检索集成到生成过程中，解决了大型语言模型 (LLM) 的静态知识截断和内存限制。 LLM 通常使用截至特定日期的固定数据集进行训练，这意味着它们缺乏对训练期后出现的事件、趋势或信息的了解。 此外，它们的“知识”存储在模型参数中，这限制了它们在推理期间可以处理的上下文数据的量。 RAG 通过允许模型在运行时查询外部数据源（例如数据库、文档存储库或 API）来克服了这一问题。 这确保了响应包含模型原始训练数据之外的最新或特定领域的信息，从而有效地绕过了其静态知识约束。
RAG 的检索组件首先通过根据用户的查询从外部来源识别相关信息来工作。 例如，当用户询问技术领域的最新进展时，系统可能会搜索精选的研究论文或行业新闻文章数据库。 然后，将检索到的数据作为上下文输入到 LLM 中，使其能够生成准确、最新的答案。 一个实际的实现可能涉及使用向量数据库来存储文档的嵌入，从而允许快速相似性搜索以查找与查询相关的文本片段。 例如，构建客户支持聊天机器人的开发人员可以使用 RAG 将最新的产品文档拉入模型的上下文窗口，从而确保响应反映最新的更新，而无需重新训练整个 LLM。
RAG 还通过减少在模型本身中存储大量数据的需求来缓解内存限制。 LLM 具有固定的上下文窗口（例如，4K–128K 个令牌），这使得直接加载大型文档或数据集变得不切实际。 使用 RAG，仅检索外部数据的最相关部分并将其注入到提示中，从而保持上下文的可管理性。 例如，使用 RAG 的法律研究工具可以查询判例法数据库以提取与用户问题相关的特定先例，而不是要求 LLM 记住每个法律判决。 这种方法允许较小、更高效的模型通过将数据存储卸载到外部系统来处理复杂的任务。 通过将检索与生成相结合，RAG 平衡了准确性、可扩展性和计算效率，使其成为需要动态或专门知识的应用程序的实用解决方案。
