多模态人工智能通过整合多种数据类型（如文本、图像、3D模型和传感器数据）来增强产品设计和原型设计，从而简化工作流程并改进决策。 例如，设计师可以将草图、书面要求和材料规格输入到多模态系统中，然后该系统会生成优化的 3D 原型。 这种方法通过结合视觉、文本和数字输入来识别设计缺陷或提出改进建议，从而实现更快的迭代。 开发人员可以使用 CLIP（对比语言-图像预训练）等工具将文本描述与视觉概念对齐，从而使团队能够根据自然语言提示探索设计变体。
一个实际应用是在汽车设计中。 工程师可能会使用多模态人工智能来分析碰撞测试视频、CAD 模型和模拟数据，以改进车辆安全功能。 人工智能可以将碰撞录像中的视觉模式与结构应力数据进行交叉引用，以推荐设计调整。 同样，在消费电子产品中，系统可能会处理用户反馈（文本或语音）、热成像和性能指标来调整智能手机的内部布局。 通过自动关联各种模式（例如将过热问题与组件放置相关联），人工智能可以减少手动分析并加速原型设计。
开发人员可以使用 PyTorch 或 TensorFlow 等框架来实现这些系统，集成用于图像处理的视觉转换器和用于解析需求的语言模型。 例如，家具设计工具可能会将 GPT-4 用于解释用户提示（“小型空间的可持续椅子”）与扩散模型相结合以生成 3D 渲染。 多模态人工智能还有助于协作：基于云的平台可以让团队用语音注释或草图来注释 3D 模型，人工智能会将这些注释合成为可操作的设计更改。 这减少了沟通不畅，并确保所有利益相关者（工程师、设计师、客户）有效地达成需求一致。
