视觉语言模型（VLM）通过整合视觉数据（如 X 射线或 MRI）和文本信息（如放射报告或临床笔记），增强医学图像分析能力。这些模型同时处理这两种模态，支持自动化诊断、报告生成和交互式分析等任务。通过学习图像与文本之间的关联，VLM 可以从医学图像中生成临床相关洞见，或利用文本信息改进图像解读。这弥合了原始视觉数据与可操作诊断信息之间的差距，简化了医疗专业人员的工作流程。
VLM 的一个关键优势在于它们能够执行传统计算机视觉模型单独无法处理的多模态任务。例如，一个在成对胸部 X 射线和放射报告上训练的 VLM 可以自动生成图像的初步文本描述，并指出肺部混浊或骨折等异常情况。类似地，临床医生可以问：“这次扫描有肺炎的证据吗？”模型可以高亮图像中的可疑区域，同时提供基于文本的回答。另一个用例是语义搜索：开发者可以构建一个系统，医生可以查询“查找具有转移性病变的相似病例”，模型将使用视觉和文本标准从数据库中检索匹配的图像。
VLM 还解决了医学 AI 中的数据效率挑战。标注医学图像非常耗时，但 VLM 可以利用现有报告中的非结构化文本作为弱监督信息。例如，在通用图像-文本对上预训练的模型（例如 CLIP）可以使用医院数据进行微调，其中 X 射线与报告中提及的诊断信息进行松散配对，从而减少对像素级标注的依赖。开发者可以通过从报告中提取关键词（例如，“实变”或“水肿”）并训练模型将这些术语与图像特征对齐来实现这一点。此外，VLM 还支持零样本或少样本学习——在常见病症上训练的模型可以通过交叉引用文本医学知识来推断罕见疾病，例如将特定的视觉模式与文献中的疾病描述相关联。这种灵活性使 VLM 在标注数据有限的场景中非常实用。