文本生成中的零样本学习是指模型能够为它没有经过明确训练的任务生成文本。这种方法依赖于模型对语言模式、上下文和嵌入在用户提示中的指令的总体理解。例如，一个在各种文本数据（如书籍、文章和代码）上训练的模型可以在没有额外的特定于任务的训练的情况下生成诗歌、翻译句子或总结段落。核心思想是模型使用其预先存在的知识从输入提示中推断任务，而不是依赖于针对该特定用例的微调或标记的示例。
为了实现这一点，模型利用它们在大型数据集上的训练来识别模式并将提示解释为指令。例如，如果用户提供“编写一个 Python 函数来反向排序列表”的提示，模型会解析“Python”、“函数”和“排序”等关键字以推断所需的输出。这是因为模型在训练期间已经看到过类似的代码片段和解释，即使它没有经过明确的训练来从头开始生成代码。同样，诸如“将 ‘Hello, how are you?’ 翻译成西班牙语”之类的提示会触发模型应用其从多语言文本数据中学到的西班牙语词汇和语法知识。模型的架构（通常是基于 Transformer 的）使其能够通过关注提示中单词之间的关系并生成连贯的、具有上下文意识的响应来处理这些指令。
然而，零样本文本生成具有局限性。输出的质量在很大程度上取决于提示如何清晰地定义任务，以及任务是否与模型的训练数据一致。例如，生成技术论文的摘要可能会很好，但如果模型在训练期间没有遇到足够多的俳句示例，则以俳句（一种特定的诗歌结构）的形式生成摘要可能会导致不一致的结果。开发人员还应注意模棱两可的提示：诸如“解释量子计算”之类的请求可能会产生广泛的概述，但添加诸如“用三句话向 10 岁儿童解释”之类的约束会提高具体性。虽然零样本减少了对特定于任务的训练的需求，但它需要仔细的提示工程和测试，以确保可靠的输出，特别是对于小众或复杂的任务。