具有自然语言查询的零样本学习使机器学习模型能够执行它们未明确训练的任务，方法是解释以纯文本形式提供的指令或描述。 这种方法依赖于模型从其预训练数据中进行泛化的能力，以理解查询的意图并生成相关的响应。 例如，一个在通用语言模式上训练的模型，当给定“确定此文本的情感”的指令时，即使它在训练期间从未看到显式的情感标签，也可能正确地将产品评论分类为“正面”或“负面”。 关键思想是，模型利用其现有的语言结构和上下文知识，从查询本身推断出任务，而无需特定于任务的微调。
其底层机制通常涉及大型语言模型（LLM），如 GPT-3 或 BERT，它们在不同的文本语料库上进行预训练。 这些模型通过识别任务描述方式中的模式来学习将自然语言输入映射到输出。 例如，如果一个查询问“将这句话翻译成法语”，该模型会识别出“翻译”和“法语”等关键词，并应用其在预训练期间收集到的语言翻译知识。 该模型的架构（通常基于transformer）允许它处理整个输入序列，权衡词语之间的关系，并生成上下文感知的预测。 这种灵活性允许开发人员通过简单地更改查询的措辞来将同一模型重新用于多个任务，例如通过更改指令从翻译切换到摘要。
实际实施涉及构建查询以清楚地定义任务。 例如，开发人员可以使用零样本模型通过在查询中包含标签来对客户支持电子邮件进行分类：“将此消息分类为'计费'、'技术问题'或'一般咨询'。” 然而，成功取决于查询与模型的预训练的匹配程度。 措辞含糊或不熟悉的术语可能会降低准确性。 开发人员可以通过尝试不同的措辞（例如，“此文本是关于计费的吗？ 是或否？”）或将复杂的任务分解为更简单的步骤来缓解这种情况。 虽然零样本学习减少了对标记数据的需求，但它并非万无一失——性能因任务的复杂性和模型的先验知识而异。 通常需要测试和迭代改进查询才能获得可靠的结果。