多模态嵌入通过创建一个共享的表示空间来结合视觉和文本信息，在该空间中可以比较或对齐这两种类型的数据。这是通过使用神经网络实现的，这些网络分别处理图像和文本，然后将其特征映射到共同的向量空间中。例如，视觉编码器（如 CNN 或 Vision Transformer）从图像中提取特征，而文本编码器（如 transformer）处理文本。在训练期间，模型通过最小化对应图像-文本对之间的距离来学习关联它们。这使得嵌入能够捕捉跨模态的语义关系，例如将单词“狗”与狗的图像联系起来。
一个关键的技术细节是使用对比学习，它训练模型将相关的图像-文本对拉近，同时将不相关的对推远。例如，OpenAI 的 CLIP 模型通过在来自互联网的数百万图像-标题对上进行训练来使用这种方法。模型学习生成嵌入，其中文本“桌子上的红苹果”比不相关的文本或图像更接近该场景的图像。另一个例子是 Google 的 Vision Transformer (ViT)，它将图像块作为类似于文本 token 的序列进行处理，从而为两种模态提供了统一的架构。这些方法通常采用余弦相似度或三元组损失等损失函数来强制对齐嵌入。
实际应用突显了这些嵌入的工作原理。例如，在跨模态检索中，用户可以通过比较共享空间中的嵌入来使用文本查询搜索图像（或反之）。多模态嵌入还支持诸如视觉问答等任务，其中模型通过结合视觉和文本理解来回答有关图像的问题。开发者可以使用 PyTorch 或 TensorFlow 等框架实现此功能，利用预训练模型（例如 CLIP、ViLT）生成嵌入。其优势在于模型的泛化能力：一旦训练完成，它可以通过将图像和文本投射到同一空间来处理未见过的组合，使其在内容审核或电商产品搜索等实际用例中具有多功能性。