在 LlamaIndex 中处理文本和图像等混合数据类型，需要构建数据管道，分别处理每种模态，然后将它们组合成一个统一的索引以便检索。LlamaIndex 提供了管理多模态数据的工具，允许您为不同的数据类型定义自定义处理逻辑，同时保持查询的一致接口。关键步骤包括数据摄取、转换为嵌入以及适应文本和图像的索引策略。
首先，您需要使用适当的模型预处理每种数据类型。对于文本，这通常涉及将文档拆分为块，并使用 OpenAI 的 text-embedding-ada-002 或 BERT 等开源替代方案生成文本嵌入。对于图像，您将使用 CLIP 或 ResNet 等视觉模型来生成捕获视觉特征的嵌入。LlamaIndex 支持自定义“读取器”和“节点解析器”来处理此问题。例如，您可以使用 SimpleDirectoryReader 从文件夹加载文件，然后将图像路由到专用图像处理器（例如，提取 CLIP 嵌入），同时将文本通过单独的文本嵌入管道发送。每种数据类型都转换为向量表示，并存储在 LlamaIndex 可以索引的格式中。
接下来，您将构建索引以处理两种模态。一种方法是为文本和图像创建单独的索引，然后使用“路由器”（例如 LlamaIndex 的 RouterQueryEngine）根据输入类型将查询定向到相关索引。或者，您可以构建一个统一的索引，其中每个节点都包含文本和图像嵌入。例如，MultiModalNode 可能存储文本嵌入、图像嵌入以及链接到原始文件的元数据。在查询期间，混合检索策略可以将查询嵌入（从文本提示或图像输入生成）与文本和图像向量进行比较，然后使用加权评分等技术组合结果。
最后，查询执行需要一个可以处理多模态输入的检索器。如果用户问“查找带有技术规格的红色汽车的图像”，系统可能会首先使用文本嵌入检索有关汽车规格的相关文本文档，然后使用视觉嵌入提取标记为“红色汽车”的图像。可以通过调用单独的检索管道并合并结果来扩展 LlamaIndex 的 RetrieverQueryEngine 以支持此功能。开发人员还可以利用现有的集成，例如使用 CLIP 的联合文本图像嵌入空间来启用跨模态搜索（例如，根据文本查询查找图像）。代码示例可能包括定义自定义 Node 类、使用 ServiceContext 配置管道以及使用 VectorIndex 存储嵌入。通过显式分离每种模态的数据处理并设计索引以支持联合检索，您可以有效地管理 LlamaIndex 中的混合数据。