多模态 AI 系统通过采用技术来处理缺失数据，这些技术使其能够在一种或多种输入模态（例如文本、图像、音频）不可用时进行适应。这些系统设计用于在数据不完整的情况下也能保持功能，通常通过利用模态之间的关系或使用备用机制。常见的方法包括数据插补、跨模态推断以及优先考虑灵活性的架构设计，例如具有动态融合的模态特定编码器。目标是在不需要重新训练或对模型结构进行重大更改的情况下保持性能。
一种策略是**数据插补**，系统利用可用数据估计缺失的输入。例如，如果在视觉-语言任务中缺少图像，模型可能会根据文本描述生成合成的图像特征。或者，它可以使用统计方法，如平均现有数据或借鉴相似案例的模式。在实践中，经过视频字幕训练的多模态模型可以通过分析视觉帧和文本转录本来推断缺失的音频。另一种方法涉及**跨模态学习**，即训练模型根据一种模态预测另一种模态。例如，系统可以学习从语音信号生成文本嵌入，从而通过依赖音频输入来处理缺失的文本。在训练期间，像掩码（人为移除模态）这样的技术有助于模型适应数据不完整的场景，教会模型依赖模态间的相关性。
架构选择也起着关键作用。模态特定编码器允许系统独立处理每种输入类型，因此缺失的数据不会中断整个管道。融合机制，如注意力层或后期融合，可以动态调整模态的组合方式。例如，基于 Transformer 的模型可能会使用交叉注意力在其他模态缺失时更侧重可用的模态。此外，一些系统采用备用工作流，例如在图像不可用时默认进行纯文本处理。在医疗诊断等应用中，如果患者的 X 光片缺失，模型可以优先考虑实验室结果和医生的笔记，同时标记不确定性。通过结合这些方法，多模态系统实现了鲁棒性，同时在数据完全可用时仍能充分利用丰富、多源的数据。
