要将 LlamaIndex 与预训练大型语言模型 (LLM) 一起使用，您首先需要以 LLM 能够有效与之交互的方式组织您的数据。LlamaIndex 通过将非结构化或半结构化数据（如文档、API 或数据库）组织成可搜索的索引，充当数据和 LLM 之间的桥梁。例如，您可以加载一组 PDF 文档，将其分割成文本块，并创建一个向量索引以启用语义搜索。然后，预训练 LLM（例如 GPT-3.5、LLaMA 或 Hugging Face 模型）使用此索引在回答查询时检索相关上下文。这种方法避免了重新训练 LLM，而是专注于增强其访问外部知识的能力。
要实现这一点，首先安装 LlamaIndex 并设置数据管道。使用 LlamaIndex 的 SimpleDirectoryReader 从文件夹加载文档，然后定义一个 ServiceContext 来配置 LLM（例如指定 OpenAI API 密钥或本地 Hugging Face 模型）。接下来，构建一个 VectorStoreIndex 将文本转换为嵌入向量并存储起来以便快速检索。例如，对于 Hugging Face 模型，您可以使用 HuggingFacePipeline 封装一个预训练模型（如 flan-t5-large），并将其与索引配对。当用户提交查询时，LlamaIndex 从索引中检索最相关的文本块，并将它们作为上下文传递给 LLM，使模型能够生成知情的回应。此工作流程适用于基于文档的问答或聊天应用等任务。
定制是优化性能的关键。您可以调整参数，如文本分割的块大小、选择不同的嵌入模型（例如 OpenAI 的 text-embedding-ada-002 或本地 Sentence Transformer），或尝试混合搜索策略。例如，如果您正在构建一个支持聊天机器人，您可以结合使用用于语义匹配的向量索引和用于精确术语搜索的关键词索引。LlamaIndex 还支持在同一管道中使用多个 LLM——例如，使用 GPT-4 进行复杂推理，使用像 Llama-2-7B 这样的小型模型处理更简单的任务——以平衡成本和性能。通过定制索引策略和 LLM 集成，开发者可以高效地利用预训练模型，而无需修改其核心架构。