在 LlamaIndex 中管理嵌入包括生成、存储和有效检索数据的向量表示。 LlamaIndex 通过与嵌入模型和向量数据库集成来简化此过程。首先，您通常会使用嵌入模型（例如 OpenAI 的 text-embedding-ada-002 或开源替代方案）将文本转换为数值向量。 LlamaIndex 提供一个 ServiceContext 类来配置嵌入模型，您可以使用选择的模型对其进行初始化。例如，ServiceContext.from_defaults(embed_model=OpenAIEmbedding()) 设置 OpenAI 的嵌入。此设置确保通过 LlamaIndex 的所有文档或查询都使用指定的模型自动嵌入。
生成嵌入后，您需要存储它们以进行有效检索。 LlamaIndex 通过其 VectorStoreIndex 类支持各种向量数据库（如 FAISS、Pinecone 或 Chroma）。例如，VectorStoreIndex.from_documents(documents, service_context=service_context) 使用您的数据和选择的嵌入创建一个索引。该索引处理将文本拆分为可管理的块（使用 NodeParser，如 SentenceSplitter），嵌入每个块并存储向量。您可以自定义块大小或元数据以提高搜索期间的相关性。例如，添加诸如文档标题之类的元数据标记有助于稍后过滤结果。如果您正在处理大型数据集，则将 LlamaIndex 与可扩展的向量数据库（例如，Pinecone）配对可确保快速查询响应。
检索嵌入涉及使用自然语言查询索引。 使用 index.as_query_engine().query("Your question")，LlamaIndex 嵌入查询，将其与存储的向量进行比较，并返回最相关的文本块。您可以调整诸如 similarity_top_k 之类的参数来控制返回的结果数。对于动态数据，LlamaIndex 支持增量更新：新文档被嵌入并添加到索引，而无需完全重建它。性能优化通常涉及平衡嵌入模型的准确性（较大的模型可能较慢）与块大小（较小的块可提高精度，但会增加存储）。通过组合这些工具，您可以构建一个系统，该系统可以适应数据的规模和复杂性，同时保持高效的搜索功能。