零样本学习 (ZSL) 使图像分类模型能够识别从未明确训练过的类别的对象。与传统的监督学习（需要每个类别都有标记的示例）不同，ZSL 使用语义关系或辅助信息（例如文本描述或属性向量）来泛化到未见过的类别。例如，在“狗”、“猫”和“马”上训练的模型可以通过利用共享属性（例如“四条腿”、“条纹皮毛”）或捕获类名称之间相似性的词嵌入来推断“斑马”类。 这种方法减少了对大型标记数据集的依赖，并将模型的适用性扩展到收集每个可能类别的训练数据不切实际的场景。
一种常见的实现方法是将图像和类描述映射到共享的语义空间中。例如，像 CLIP (Contrastive Language-Image Pretraining) 这样的模型通过在图像及其标题的对上进行训练来将图像与自然语言文本对齐。在推理过程中，该模型将输入图像的特征与未见过的类描述（例如，“条纹马科动物”）的嵌入进行比较，以预测最可能的匹配。开发人员可以利用预训练模型或像 Hugging Face 的 Transformers 这样的框架将类标签嵌入为文本，并计算图像和文本嵌入之间的相似度分数。这种方法允许在不重新训练的情况下进行分类，前提是所见类别和未见类别之间的语义关系是明确定义的（例如，使用 WordNet 层级结构或人工注释的属性）。
然而，ZSL 面临着挑战。性能很大程度上取决于语义表示的质量：嘈杂或不完整的辅助数据可能导致错误分类。例如，如果“斑马”仅被描述为“非洲动物”，则该模型可能会将其与“狮子”混淆。域偏移（即未见过的类别的视觉特征与训练数据显着不同）也会降低准确性。开发人员可以通过将 ZSL 与少样本学习（使用最少的示例）或使用生成模型来合成未见过的类别的特征来缓解这种情况。实际应用包括利基领域，例如医学成像（对罕见疾病进行分类）或野生动物监测（识别标记数据有限的濒危物种）。通过了解这些权衡，开发人员可以在资源受限或动态环境中有效地部署 ZSL。