嵌入通过将不同数据类型（如文本、图像或传感器读数）转换为共享的数值空间来处理具有高方差的多模态数据，在该空间中可以衡量不同模态之间的关系。例如，在一个结合文本和图像的系统中，嵌入将两者转换为向量，使得文本中的“猫”和猫的照片映射到该空间中的附近点。这是通过特定模态编码器实现的——如用于图像的 CNN 和用于文本的 transformers——它们在将输出对齐到共同向量空间之前分别处理每种数据类型。对比学习（例如 CLIP）或三重损失等技术有助于加强相关项（例如将狗的照片与文本“狗”匹配）之间的语义相似度，同时将不相关的对推开。
数据中的高方差——例如不同的尺度、格式或噪声水平——通过归一化和降维来管理。例如，音频频谱图和文本 token 在编码前可能会被归一化到零均值和单位方差，以防止一种模态主导嵌入空间。像 PCA 或 autoencoders 这样的降维方法将高方差特征（例如图像中的原始像素值）压缩成保留基本模式的低维向量。在实践中，视频推荐系统可以通过首先分别嵌入每种模态（用户观看历史（时间序列）、视频缩略图（图像）和字幕（文本）），然后通过连接或加权平均将它们融合，创建用于推荐的统一表示。
当对齐本质结构不同的模态时，挑战就出现了。例如，将医学影像（高分辨率 3D 扫描）与实验室结果（表格数据）对齐需要仔细调整嵌入维度和训练目标。解决方案通常涉及混合架构：用于扫描的 3D CNN 和用于实验室数据的全连接网络，通过惩罚不匹配对的损失函数联合训练。注意力机制也有助于优先处理相关特征——例如，当与文本报告中的癌症诊断相关联时，聚焦于 X 光片中的肿瘤区域。通过平衡特定模态的处理和跨模态对齐，嵌入使得系统能够有效利用多样化的数据源，即使它们的方差或格式存在显著差异。