LlamaIndex 通过将数据构建成针对高效检索优化的索引，并结合语言模型，来执行文档搜索。其核心是将文档转化为可搜索的格式，利用嵌入和元数据，使得查询能够快速找到相关信息。整个过程包括三个主要阶段：数据摄取、索引创建和查询执行。开发者可以自定义每个阶段，以平衡特定用例的速度、准确性和资源使用。
首先，LlamaIndex 处理文档时，将其分割成更小的块（例如，段落或部分），并使用 OpenAI 的 text-embedding-ada-002 等模型为每个块生成向量嵌入。这些嵌入捕获了语义含义，使得系统能够以数学方式比较文本相似性。例如，一个 100 页的 PDF 可能会被分割成 500 个文本块，每个块被转换为一个 1536 维的向量。这些向量存储在向量数据库中，如 FAISS 或 Pinecone，这些数据库支持快速相似性搜索。元数据（如文档标题或时间戳）也可以附加到块中，以实现结合语义匹配和关键词或日期过滤的混合搜索。
当进行查询时，LlamaIndex 使用相同的嵌入模型将搜索输入（例如，“神经网络如何学习？”）转换为向量。然后，系统扫描向量数据库，查找其嵌入最接近查询向量的块，通常使用余弦相似度。例如，搜索“机器学习技术”可能会检索到讨论决策树、梯度下降和反向传播的块。此外，像 GPT-4 这样的语言模型可以选择性地通过重新排序匹配项或从多个块合成答案来优化结果。开发者可以调整参数，如块大小（以平衡上下文与粒度）或检索结果的数量（top-k），以优化性能。这种方法避免了暴力文本比较，使得搜索即使对于大型数据集也能实现可扩展性。