语言模型在零样本学习中的作用是利用其对语言模式和语义的通用理解来执行未明确训练过的任务。与需要针对每个特定任务提供标注示例的传统模型不同，语言模型利用其预先存在的知识（通过在大量文本数据上进行训练获得）来根据指令或提示推断如何处理新任务。例如，如果在没有事先进行情感分析训练的情况下被要求对句子的情感进行分类，模型可能会依赖于其对“快乐”或“令人失望”等词语及其典型上下文的理解来预测“积极”或“消极”等标签。
这种能力源于现代语言模型的设计方式。在预训练期间，模型学习预测序列中缺失的词或下一个 token，这迫使它们建立起对句法、语法和现实世界概念的广泛知识。当给定一个零样本任务时，模型会将其视为一个文本补全问题。例如，如果提示是“将‘Hello’翻译成法语：”，模型可能会通过识别其训练数据中的翻译请求模式生成“Bonjour”，即使它没有被明确地微调用于翻译。这里的关键是模型能够将提示的结构映射到它之前见过的相关模式，从而使其能够泛化到未见过的任务。
开发者可以在实际场景中应用这种行为。假设模型需要在没有标注训练数据的情况下将支持工单分类为“紧急”或“非紧急”。零样本方法可能涉及将任务表述为一个问题：“此消息是否紧急？回答：[是/否]。”模型的响应取决于它将“损坏”、“立即”或“关键”等词语与紧急性关联起来的能力。然而，成功取决于清晰的提示设计和模型先前接触过类似上下文的程度。尽管功能强大，零样本性能会因任务复杂性和数据质量而异——需要特定领域专业知识的任务（例如，医疗诊断）在没有微调的情况下可能会产生不可靠的结果。对于开发者而言，这意味着在便利性和验证之间取得平衡，即使使用预训练模型也要严格测试输出。