大型语言模型 (LLM) 将通过整合在一个统一框架内处理文本、图像、音频和其他数据类型的架构来发展以处理多模态输入。这将涉及将现有的基于 Transformer 的模型等技术与非文本数据的特定领域编码器相结合。例如，图像数据可以使用卷积神经网络 (CNN) 或视觉 Transformer (ViT) 进行处理以生成嵌入，然后通过跨模态注意力机制将这些嵌入与文本嵌入对齐。这些模型将学习将不同的模态映射到共享的潜在空间中，从而使它们能够理解不同输入之间的关系——例如将狗的照片与“狗”这个词联系起来，或将口语句子与其书面形式联系起来。
一个关键的技术挑战将是设计高效的标记化和对齐策略。例如，LLM 可以通过将语音转换为频谱图、将它们标记化为序列，并将它们与文本标记一起输入到修改后的 Transformer 中来处理音频。类似地，可以通过将帧拆分为空间和时间分量，使用编码器提取特征，并将它们与语言标记集成来处理视频。训练此类模型将需要包含配对的多模态示例的大规模数据集，例如图像-字幕对或视频-音频转录。对比学习（模型学习匹配跨模态的相关输入）等技术可能会发挥核心作用。 CLIP（对齐图像和文本）和 Flamingo（处理交错的图像和文本）等工具提供了这种方向的早期示例。
开发人员可以期望出现简化多模态集成的框架。例如，库可能会标准化预处理步骤（例如，调整图像大小、规范化音频），并提供 API 来插入特定模态的编码器。推理优化，例如在处理动态输入（例如，用户查询）时缓存静态数据（例如，参考图像）的嵌入，将解决计算瓶颈。实际应用可能包括从屏幕截图生成代码、回答有关医学扫描的问题或分析传感器数据以及维护日志的系统。但是，处理嘈杂或未对齐的训练数据、管理模型大小以及确保强大的跨模态推理等挑战将需要持续的研究。这种演变可能会优先考虑模块化，允许开发人员使用新的模态扩展现有 LLM，而无需完全重新训练。