LlamaIndex 通过灵活的数据连接器和预处理工具支持自定义文档格式。 该框架允许开发人员创建自定义数据加载器，将任何文件类型解析为结构化文本和元数据。 这是通过扩展诸如 SimpleDirectoryReader 之类的基类或实现 BaseReader 接口来实现的，该接口允许您处理本机不支持的文件。 例如，如果您有专有格式的日志文件，则可以编写一个加载器，将时间戳和错误消息提取到文本块中，然后将它们与诸如严重性级别之类的元数据配对。 LlamaIndex 不会将您限制为 PDF 或 DOCX 之类的常见格式，您可以定义原始数据如何成为可用的内容。
加载后，使用可自定义的管道处理文档。 LlamaIndex 提供了将文本拆分为块的工具（例如， SentenceSplitter），但您可以根据特定领域的需求覆盖这些工具。 例如，处理代码文档的开发人员可以创建一个拆分器，将函数定义和注释放在一起，避免任意中断。 您还可以应用诸如过滤低价值内容或添加上下文（例如，在 API 指南中将“本节讨论 API 端点”附加到每个块）之类的转换。 这些步骤可确保数据与您的检索和生成目标保持一致，而与原始格式无关。
最后，LlamaIndex 启用元数据驱动的自定义格式查询。 解析文档时，您可以提取结构化信息（例如，Markdown 中的标题，法律合同中的章节）并将其附加到文本块。 在搜索期间，此元数据会过滤或提升结果，例如在技术手册中优先处理标记为“关键”的块。 开发人员还可以集成外部数据，例如将 CSV 行链接到单独图像加载器中的相关图表。 通过将解析逻辑与检索分离，LlamaIndex 使团队能够适应利基格式，而无需修改整个搜索管道，从而可以实际地大规模处理特定领域的数据。