预训练模型在零样本学习中扮演着至关重要的角色，它们提供了一个强大的知识基础，使模型能够处理那些没有明确训练过的任务。 零样本学习要求模型对未见过的类别或场景进行预测，只有当模型对来自先前训练的模式、关系和特征具有广义理解时，这才可行。 预训练模型在大型、多样化的数据集上进行训练，能够捕获这些广泛的表示。 例如，在数百万张图像上预训练的视觉模型学会识别形状、纹理和对象部分，而经过大量文本语料库训练的语言模型则掌握了单词之间的语义关系。 这种基础知识使模型能够将新输入映射到相关输出，而无需针对这些特定情况的额外训练数据。
关键优势在于预训练模型如何构建信息。 它们通常将数据编码到一个共享的语义空间中，其中相似的概念聚集在一起。 例如，在自然语言处理中，像 BERT 这样的模型将单词和句子映射到反映含义的向量中。 在零样本场景中，当使用文本描述一个新类别（例如，“几维鸟”）时，该模型可以将其语义嵌入与现有嵌入（例如，“鸟”，“不会飞”）进行比较，以推断出连接。 同样，CLIP（对比语言-图像预训练）对齐图像和文本嵌入，使其能够通过将视觉特征与文本描述相匹配来对未见过的对象的图像进行分类。 如果没有预训练，该模型将缺乏上下文框架来建立这些跨模态或跨类别的关联。
实际的例子突出了这种重要性。 CLIP 的零样本图像分类完全依赖于其预训练来将图像与文本提示链接起来。 开发人员可以使用它通过自然语言描述将医学图像分类为新的疾病类别，即使这些类别不在训练数据中。 在 NLP 中，GPT 风格的模型可以通过利用其预先训练的语言结构知识来生成文本或回答有关他们没有明确微调的主题的问题。 这些模型避免了对特定任务训练数据的需求，从而减少了开发时间和资源成本。 对于开发人员而言，这意味着构建灵活的系统，可以在不重新训练的情况下适应新要求——只需利用预训练模型从其初始训练中进行泛化的能力。 在标记数据稀缺或不存在的情况下，预训练模型充当原始数据和可操作的见解之间的桥梁。