对齐来自不同模态（如文本、图像或音频）的嵌入具有挑战性，因为每种模态以独特的方式捕获信息。例如，文本嵌入可能通过词语关系表示语义，而图像嵌入则侧重于形状或颜色等视觉特征。结构和表示上的这些差异使得难以将它们映射到共享空间中，以便它们能够有意义地交互。一种常见的方法是训练模型将来自不同模态的嵌入投影到公共向量空间中，但是每种模态编码信息的方式不一致会导致未对齐。例如，如果图像嵌入优先考虑纹理，而文本嵌入强调上下文或同义词，则“狗”的图像和“狗”这个词可能无法很好地对齐。这种结构上的不匹配需要仔细设计对齐目标，例如对比损失或三元组损失，以确保模型学习到有意义的跨模态关系。
另一个挑战是高质量配对数据的稀缺。训练对齐模型通常需要不同模态的示例明确链接的数据集，例如与字幕配对的图像或与文本记录配对的音频剪辑。然而，创建这样的数据集成本很高，并且现有数据集的大小或多样性可能受到限制。例如，将医学图像与诊断报告对齐需要特定领域的专业知识来管理，并且公共数据集可能不涵盖罕见疾病。即使存在配对数据，噪声或不匹配（例如，不正确的字幕）也会降低性能。此外，跨模态的数据分布不平衡（例如，文本数据多于音频数据）可能会使模型偏向于主要模态。数据增强或跨模态合成（例如，从图像生成文本）等技术可以缓解这种情况，但它们引入了复杂性，并且可能无法完全解决对齐问题。
最后，评估对齐质量很困难。诸如余弦相似度或检索准确率（例如，为文本查询查找相关图像）之类的传统指标提供了一些见解，但并未全面捕获语义对齐。例如，嵌入在共享空间中可能看起来很接近，但未能反映细微的关系，例如区分“银行”（金融）和“银行”（河岸）。领域转移也带来了问题：在新闻文章和库存照片上训练的模型可能难以处理科学图表和研究论文。跨不同领域进行测试需要大量的验证，并且失败案例通常会揭示隐藏的偏差。此外，当对齐多个模态时，计算成本会增加，因为模型需要更大的架构和更多的训练数据。开发人员必须在对齐准确性、泛化性和资源约束之间进行权衡，从而使迭代实验和有针对性的优化对于成功至关重要。