多模态模型通过使用单独的处理流程处理图像和文本的输入，然后使用对齐技术来桥接它们的表示，从而处理图像与文本之间不同的输入尺寸。 核心思想是将图像和文本输入转换为固定维度的向量，这些向量可以有意义地交互，尽管它们具有固有的结构差异。 这涉及三个主要步骤：模态特定编码、维度标准化和跨模态融合。
首先，图像和文本使用专门的编码器独立处理。 对于图像，卷积神经网络 (CNN) 或视觉转换器 (ViT) 将像素数据转换为特征向量。 这些网络通常将图像调整为固定分辨率（例如，224x224 像素）或使用自适应池化层来标准化输出维度。 例如，ResNet-50 可能会输出一个 2,048 维的向量，而与原始图像大小无关。 文本被标记化为子词或词，并由 BERT 等转换器处理，这些转换器处理可变长度的序列，但产生固定大小的输出。 例如，一个句子可能会被截断或填充到 128 个标记，然后嵌入到一个 768 维的向量中。 这确保了在融合之前，两种模态都被映射到可预测的形状。
接下来，对齐技术协调数据结构中的差异。 转换器中的位置嵌入帮助文本模型理解标记顺序，而图像中的空间信息通过基于网格的特征或区域提议得以保留。 例如，像 CLIP 这样的模型使用 ViT 将图像分割成 16x16 的补丁（每个补丁都被视为一个“标记”），并使用文本转换器来处理词标记。 两种输出都使用线性层投影到共享的嵌入空间中。 如果图像具有不同的维度，自适应池化或重采样层会在投影之前将特征图调整为固定大小（例如，7x7 网格）。 同样，文本编码器会屏蔽填充标记，以避免在输入短于最大序列长度时扭曲注意力机制。
最后，跨模态融合机制实现了交互。 常见的方法包括连接、交叉注意力层或使用平均等操作的后期融合。 例如，视觉问答模型可以使用交叉注意力层，其中文本查询关注图像特征。 为了处理计算约束，一些架构并行处理模态直到融合点，避免过度内存使用。 像 Hugging Face 的 Transformers 这样的库通过为调整图像大小和标记文本提供预配置的流程来简化这一点，确保输入满足模型的预期维度。 通过尽早标准化输入并设计编码器以输出兼容的形状，多模态模型可以有效地组合视觉和文本数据，尽管它们在大小和结构上存在固有的差异。