结合来自视觉、文本和音频模态的相关性分数通常涉及一个多步骤过程，该过程对每种模态的特征进行对齐和加权，以产生统一的表示。以下是为开发者量身定制的结构化解释：
1. 对齐和特征融合
模态（如文本、音频和视觉数据）首先使用预训练模型（例如，文本使用 BERT，图像使用 CNN）编码为数值表示。然后将这些特征对齐到一个共同的维度空间。例如，一维卷积网络可以标准化视觉和音频特征的维度以匹配文本嵌入 [1]。通常使用跨模态注意力机制，如自注意力 (Self-Attention) 或 交叉注意力 (Cross-Attention)，来识别模态之间的关系。例如，Ref-AVS 通过计算音频信号和视觉区域之间的交叉注意力分数来整合音频和文本线索，使模型能够关注动态场景中的相关对象 [2]。
2. 加权组合和分层处理
对齐后，使用加权融合结合模态。这涉及根据任务特定相关性动态调整每种模态的贡献。在 Ref-AVS 中，音频和文本模态被分配不同的注意力标记，它们的交互通过分层融合层建模 [2]。类似地，递归联合跨模态注意力 (RJCMA) 等方法通过捕获模态内和模态间依赖性来递归地细化相关性分数——例如，在情感识别中关联音频音高变化与面部表情 [10]。添加残差连接和归一化（例如，层归一化）以稳定训练 [1][7]。
3. 融合后优化
融合后的表示会进一步处理以用于下游任务，如分类或分割。例如，在情感分析中，融合后的特征与基于文本的注意力矩阵相乘，并通过分类器进行传递以微调模型 [1][7]。挑战包括处理模态特定噪声（例如，视频中不相关的视觉对象）和计算效率。全局音频特征增强 (global audio feature enhancement) 等技术通过优先处理时间上一致的音频模式而不是瞬时视觉噪声来解决这个问题 [7]。
开发者需要考虑的关键因素
- 模态失衡：在跨模态任务中，文本通常占主导地位，因此遮蔽融合（抑制不太相关的模态）等技术非常有用 [1]。
- 时间对齐：音频-视觉任务需要跨时间步同步特征（例如，将语音与唇部动作对齐） [10]。
- 可伸缩性：预先提取模态特定特征（例如，视觉使用 VGG）可以降低融合期间的运行时复杂度 [10]。