自然语言处理中零样本学习的一个关键特征是模型能够执行它没有被明确训练过的任务。与传统的监督学习不同，在传统的监督学习中，模型需要每个特定任务的标记示例，而零样本学习利用在预训练期间获得的一般知识来推断新任务（未见过的任务）的解决方案。 这是通过自然语言提示或描述来构建任务来实现的，从而使模型无需特定于任务的训练数据即可理解目标。 例如，如果给定明确的指令，即使模型在训练期间从未见过标记的翻译或分类数据，经过训练来回答问题的模型也可能翻译文本或对情感进行分类。 这种灵活性减少了对大型的、特定于任务的数据集的依赖，并扩展了单个模型可以解决的问题范围。
零样本学习依赖于大型预训练语言模型（如 BERT 或 GPT）的语义理解和泛化能力。 这些模型在预训练期间从大量的文本语料库中学习模式、关系和上下文含义。 当呈现一个新任务时，它们使用这些知识将输入和任务描述映射到相关的输出。 例如，要在没有事先接受情感分析训练的情况下将电影评论分类为正面或负面，模型可能会处理一个像“确定此评论的情感：[文本]。 选项：正面，负面”这样的提示。 该模型将输入文本与任务描述和候选标签进行比较，并使用其对语言语义的理解来推断正确的标签。 这种方法有效是因为模型已经内化了诸如词语关联（例如，“糟糕”与消极性相关联）和表明情感的句法结构之类的概念。
零样本学习的实现通常涉及设计有效的提示或模板，为模型清楚地定义任务。 例如，开发人员可以使用像 T5 或 GPT-3 这样的模型，通过提示它“用一句话概括以下文章：[文章文本]”来总结一篇新闻文章。 模型的成功取决于提示与其预训练数据的一致程度以及其解析意图的能力。 但是，挑战包括确保提示是明确的，并考虑需要模型缺乏的领域特定知识的任务。 性能可能会因新任务与模型训练数据中的模式的相似程度而异。 尽管存在这些局限性，零样本学习显着降低了部署自然语言处理解决方案的门槛，因为开发人员可以将单个模型调整为多个任务，而无需重新训练或微调。