零样本学习 (ZSL) 面临三个主要挑战：弥合训练类别与未见类别之间的领域差距、确保有意义的语义表示，以及解决评估中的偏差。 ZSL 要求模型泛化到它们从未明确训练过的类别，这引入了独特的技术难题。开发人员必须解决这些问题，以构建能够处理常见未见类别的真实场景的健壮系统。
第一个主要挑战是领域偏移，即未见类别的特征分布与训练期间看到的特征分布不同。 例如，如果使用图像特征训练模型来识别狗和猫等动物，那么如果斑马的视觉模式（例如，条纹）没有在训练数据中得到充分捕获，该模型可能会难以识别斑马等未见类别。 这种不匹配是因为模型对新类别的特征关系的假设崩溃了。将语义属性（例如，文本描述）嵌入到与视觉特征共享的空间等技术可能会有所帮助，但对齐这些表示仍然很困难。 如果没有适当的对齐，模型可能会过度拟合已见类别或无法泛化。
第二个挑战是语义表示的质量和相关性。 ZSL 通常依赖于辅助数据，例如词嵌入或手动定义的属性，来连接已见类别和未见类别。 例如，如果模型使用词向量将“斑马”与“条纹”和“类似马”关联起来，但嵌入缺乏细微差别（例如，缺少关于栖息地的上下文），则预测可能不准确。 手动属性标注非常耗时且容易产生人为偏差，而自动化方法（例如，使用 Word2Vec）可能无法捕获特定领域的联系。 开发人员必须权衡丰富的、特定于任务的语义数据与可扩展的、通用表示之间的利弊。
最后，评估偏差使衡量 ZSL 性能变得复杂。 许多基准测试在训练期间无意中泄露了信息，方法是包括未见类别数据（例如，通过重叠属性）。 例如，数据集可能使用“有翅膀”作为已见类别（鸟）和未见类别（飞机）的属性，这使得模型更容易在没有真正理解的情况下正确猜测。 此外，如果模型在容易示例的狭窄子集上表现良好，那么未见类别的准确率等指标可能会产生误导。 开发人员需要标准化的、严格的评估协议（例如，不包括属性重叠）以确保公平的比较并避免高估模型能力。