将视觉-语言模型（VLM）扩展到更大规模的数据集带来了计算资源、数据质量和模型优化方面的挑战。首先，在海量数据集上训练 VLM 需要庞大的基础设施。例如，在 LAION-400M 上训练的模型，如 CLIP，需要数百个 GPU 或 TPU，分布在多个节点上。协调这些资源会带来额外开销，例如同步延迟和通信瓶颈。高分辨率图像也会占用大量内存，迫使在批处理大小和模型复杂度之间进行权衡。此外，预处理和存储数 TB 的图像-文本对需要高效的数据管道；缓慢的数据加载会阻碍训练进程，即使硬件性能强大也无济于事。这些后勤障碍使得扩展 VLM 既昂贵又技术要求高。
其次，随着数据集的增长，数据质量和对齐变得至关重要。从网络抓取的数据集（例如 LAION）通常包含噪声或不匹配的图像-文本对。例如，一张猫的图像可能被标记为“狗”，这会在训练过程中混淆模型。在不过度激进地移除的情况下自动过滤此类噪声具有挑战性。在规模化的情况下，手动筛选是不切实际的，因此需要依赖不完善的启发式方法。此外，大型数据集可能缺乏多样性，过度代表了常见的语言或文化。主要在西方场景的英语描述上训练的模型可能难以处理非西方语境或低资源语言。解决这些偏差需要有意识地平衡数据集，这既耗时又往往不彻底。
最后，优化模型架构和训练动态变得复杂。VLM 必须平衡视觉和语言组件——过度放大其中一种模态可能会损害性能。例如，更大的文本编码器可能会在训练中占据主导地位，从而降低图像特征的有效性。随着模型和数据集的增大，训练不稳定（如损失曲线震荡）变得更加频繁。混合精度训练或梯度检查点等技术有助于管理内存，但会增加计算步骤。学习率等超参数必须跨模态仔细调整，并且评估需要多样化的基准来测试泛化能力。如果没有严格的测试，模型可能会过度拟合数据集的特殊性，而不是学习健壮的跨模态模式。这些挑战需要仔细的架构设计和迭代实验，以确保在不牺牲性能的情况下实现可扩展性。