大型语言模型 (LLM) 使用迁移学习的方式是，首先在广泛的数据集上进行训练，以学习通用的语言模式，然后通过微调将这些知识应用到专门的任务中。这种两步法避免了为每个新应用从头开始训练模型。最初的预训练阶段包括将模型暴露于大量文本（例如，书籍、文章或 Web 内容），以构建诸如语法、上下文理解和基本推理之类的基础技能。一旦存在这种通用基础，开发人员就可以通过在较小的、特定于任务的数据集上重新训练模型的子集来将其重新用于特定的用例。
例如，BERT 的预训练使用掩码语言建模（预测句子中缺失的单词），这教会了它单词之间的关系。然后，开发人员可以通过添加分类层并在标记的电影评论上训练它来微调 BERT 以进行情感分析。类似地，GPT-3 的基本模型经过预训练以预测文本中的下一个单词，可以通过在编程语言上进行微调来适应代码生成。至关重要的是，在微调期间只调整模型参数的一小部分——通常只是最后一层。这保留了早期层中的一般语言知识，同时专门化目标任务的输出。诸如 Hugging Face 的 Transformers 库之类的工具通过提供预训练的模型和 API 来修改特定组件，从而简化了此过程。
这种方法通过减少计算成本和数据需求使开发人员受益。对于大多数团队来说，从头开始训练像 GPT-3 这样拥有 1750 亿参数的模型是不切实际的，但是在一个单一的 GPU 上微调它处理一个包含 10,000 个示例的任务可能只需要几个小时。它还可以在标记数据有限的领域实现专业化：可以通过微调临床笔记而不是需要数百万个标记的患者交互来构建医疗聊天机器人。通过将一般语言理解与特定于任务的适应分离，迁移学习使 LLM 成为多功能的工具，可以平衡广泛的功能与实际的可部署性。