数据增强在零样本学习 (ZSL) 中发挥着关键作用,它通过增强在有限数据上训练的模型的鲁棒性,使其能够泛化到未见过的类别。在 ZSL 中,目标是利用已知类别和未知类别之间的语义关系(例如,属性、文本描述)来识别训练期间未出现的类别。由于目标类别不存在带标签的示例,数据增强侧重于提高模型将输入数据(如图像或文本)映射到这些共享语义特征的能力。通过人为地扩展训练数据的多样性,增强有助于模型学习与语义空间更有效对齐的不变表示,从而弥合已知类别和未知类别之间的差距。
一种常见的方法是应用转换到已知类别中的现有数据。例如,在基于图像的 ZSL 中,旋转、裁剪或颜色抖动等技术可以模拟物体外观的变化,迫使模型关注核心属性而不是记忆特定细节。假设一个模型在“马”的图像(已知类别)上进行训练,并且需要识别“斑马”(未知类别)。通过合成条纹或纹理变化来增强马的图像可以帮助模型将视觉模式与“条纹”属性关联起来,从而提高其泛化能力。在基于文本的 ZSL 中,对类别描述进行释义或替换同义词可以帮助模型更好地理解诸如“有翅膀”或“生活在水中”等属性的语义细微之处,这些属性对于连接已知类别和未知类别至关重要。
然而,ZSL 中的数据增强必须在多样性和语义相关性之间取得平衡。过度增强数据——例如应用极端失真——可能会使特征与其对应属性错位,从而降低模型准确性。一些方法通过使用未知类别的语义描述符生成它们的合成示例来解决这个问题。例如,生成对抗网络 (GAN) 可以通过将已知类别(“马”)的“条纹”属性与其他已知特征相结合,创建未知类别(例如,“斑马”)的伪图像。虽然有效,但这需要仔细验证以确保生成的数据准确反映目标语义。总的来说,ZSL 中的数据增强是有限训练数据的倍增器,通过加强模型对共享属性的理解,使其能够外推到新的类别。