多模态人工智能系统处理并结合多种类型的数据——例如文本、图像、音频和传感器输入——以改进决策制定和用户交互。 主要好处是增强了上下文理解。 通过一起分析不同的数据来源，这些系统可以比单模模型更准确地推断含义。 例如，在图像和文本描述上训练的模型可以通过交叉引用视觉模式和语言上下文来更好地识别照片中的对象。 这种方法减少了由模糊输入引起的错误，例如通过结合视觉和文本线索来区分作为金融机构的“银行”与河岸。
另一个关键优势是提高了在现实场景中的稳健性。 单模人工智能在输入数据嘈杂或不完整时通常会遇到困难，但多模态系统可以使用替代数据流进行补偿。 例如，解释用户请求的语音助手可能会听错一个词，但可以通过分析用户屏幕活动或摄像头捕获的手势来纠正自身。 同样，自动驾驶汽车结合了激光雷达、摄像头和 GPS 数据以安全导航——如果一个传感器发生故障，其他传感器会提供冗余。 这种冗余使系统更加可靠，尤其是在部分数据不足以满足安全关键的应用中。
最后，多模态人工智能实现了更广泛的应用可能性。 开发人员可以构建与用户更自然地交互的工具，例如在分析屏幕内容以提供上下文感知帮助时处理语音命令的虚拟助手。 在医疗保健领域，将医学影像与患者病史文本相结合可以实现更准确的诊断。 此外，在多种数据类型上训练模型可以随着时间的推移降低计算成本。 例如，处理文本和图像的单个多模态模型可能优于单独的专用模型，同时使用更少的资源。 这种灵活性使其更容易在数据格式差异很大的环境中部署人工智能。
