一个好的预训练模型对于零样本学习至关重要，因为它提供了处理无需先验示例的任务所需的基础知识。零样本学习要求模型通过利用预训练期间学习到的通用模式，对新的、未见过的任务做出准确的预测。如果预训练模型缺乏理解的深度或广度，它将难以适应新的场景。例如，在各种文本上预训练的语言模型可以推断新语言中的产品评论的情感，即使它没有明确地针对该语言进行训练。这种能力取决于模型从其初始训练阶段识别语言结构和上下文线索的能力。
预训练模型的架构和训练数据直接影响其零样本性能。像BERT或GPT这样的模型，在大型、多样化的数据集上进行训练，可以深入理解概念之间的关系。例如，GPT-3回答它没有明确微调过的主题的问题的能力，源于它在预训练期间接触了数十亿个文本示例。同样，像CLIP这样的视觉模型，在预训练期间对齐图像和文本，可以通过将图像与文本描述进行比较，将图像分类为未见过的类别。设计不良的模型（例如，在狭窄的数据上训练或没有足够层数的模型）将缺乏推广到其训练范围之外的灵活性，从而导致不可靠的零样本结果。
最后，一个强大的预训练模型减少了对特定任务工程的需求。开发人员可以利用其内置的功能，而无需手动制作功能或为每个新任务收集标记数据。例如，预训练的多语言模型可以通过利用共享的语言模式，在它没有明确训练过的语言对之间进行翻译。在数据稀缺或标注昂贵的场景中，这种效率尤其有价值。但是，成功取决于将预训练目标与目标任务对齐。如果文本摘要的训练没有强调跨语言理解，那么为文本摘要预训练的模型可能难以进行零样本翻译。因此，选择或设计与预期用例相符的预训练模型对于有效的零样本学习至关重要。