视觉-语言模型 (VLM) 通过处理文本内容和视觉布局信息，应用于文档分类和摘要。对于分类，VLM 分析文本、图像和文档结构来分配类别。对于摘要，它们识别文本和视觉元素中的关键信息以生成简洁的输出。这种双重方法提高了准确性，优于仅基于文本的方法，因为 VLM 可以从布局、格式和嵌入式视觉元素（如表格或图表）中理解上下文。
在文档分类中，VLM 将用于文本提取的光学字符识别 (OCR) 与布局、字体和图像位置等视觉特征相结合。例如，VLM 可以通过识别结构模式来区分发票和收据：发票通常有明细表格和付款条款，而收据包含供应商标志和粗体总金额。LayoutLM 或 DocFormLM 等模型在文档数据集上进行预训练，学习将视觉元素（例如，复选框、签名）与语义意义关联起来。在训练期间，模型将文档作为图像处理，通过 OCR 提取文本和空间坐标，并使用多模态编码器融合这些信息。开发者可以通过调整分类头来识别独特的布局-文本组合，从而在自定义数据集（如法律合同与备忘录）上对这些模型进行微调。即使是多语言文档，这种方法也有效，因为视觉线索（例如，表单字段）减少了对纯文本的依赖。
对于摘要，VLM 通过分析文本的突出性（例如，标题、项目符号列表）并整合视觉数据来确定内容的优先级。例如，摘要一份财务报告可能涉及从嵌入式图表中提取数字，并将其与文本中的关键发现配对。Donut 等模型首先编码文档图像及其 OCR 文本，然后使用跨模态注意力将视觉元素（例如，图表）与相关段落链接起来以生成摘要。在研究论文中，VLM 可以识别摘要中引用的图表，并将它们的结论包含在摘要中。开发者可以通过在文档-摘要对上训练模型来实现这一点，教导模型将视觉元素（例如，高亮文本）的权重设置为高于周边内容。挑战包括处理各种布局和高分辨率文档的计算成本，但分块文档或使用稀疏注意力等技术可以减轻这些问题。
VLMs 在这些任务中的主要优势在于它们能够捕捉纯文本模型无法捕捉的上下文信息。例如，纯文本分类器可能会错误地标记一份缺少关键词但有签名块的文档，而 VLM 则会将视觉签名用作分类信号。同样，摘要模型可以避免遗漏文本中未明确提及的表格中的关键数据。Hugging Face 的 Transformers 等开源框架提供了预训练的 VLMs，开发者可以使用 PyTorch 或 TensorFlow 等库进行适配，从而使得部署这些模型用于自动化发票处理或从演示文稿生成会议纪要等任务成为可能。