LlamaIndex 通过将非结构化数据构建为可搜索的格式，并优化 LLM 访问相关信息的方式，来增强大型语言模型 (LLM) 的文档检索能力。它充当原始文档和 LLM 之间的桥梁，从而能够对大型数据集进行高效查询。LlamaIndex 不是要求 LLM 为每个查询处理整个文档，而是将数据预处理成索引——例如向量嵌入、关键字映射或分层摘要——这些索引允许模型快速定位和检索最相关的信息。这减少了计算开销，并通过将 LLM 的注意力集中在与上下文相关的内容上，提高了响应准确性。
其核心机制涉及三个阶段：数据摄取、索引和查询。在摄取期间，LlamaIndex 将文档分解为较小的“节点”（例如，文本块或章节），并可选择生成嵌入（文本的数字表示）以进行语义搜索。索引将这些节点组织成针对特定检索策略优化的结构。例如，向量索引存储嵌入以进行基于相似性的搜索，而树索引创建分层摘要以深入研究子主题。在查询期间，LlamaIndex 使用这些索引来过滤和排序节点，然后将排名靠前的结果作为上下文传递给 LLM。例如，如果开发人员查询代码库中“API 端点中的错误处理”，LlamaIndex 可能会检索代码片段、文档章节或相关工单，从而使 LLM 能够生成精确的答案，而无需扫描每个文件。
一个实际的例子是构建一个技术文档的问答系统。如果没有 LlamaIndex，LLM 可能难以在 500 页的手册中找到答案。有了 LlamaIndex，该手册被分成节点，按关键字和嵌入进行索引，并存储以供快速检索。当用户询问“如何配置 SSL 加密？”时，系统会检索“安全”章节的相关段落并将其提供给 LLM。这种方法确保响应基于特定的、最新的内容，而不是 LLM 的一般知识。开发人员可以自定义索引策略——例如调整块大小或在关键字和语义搜索之间进行选择——以平衡其用例的速度和准确性。通过处理检索层，LlamaIndex 使 LLM 能够专注于其优势：将信息合成为连贯的答案。