深度学习中的迁移学习是一种技术，其中为一项任务开发的模型被重用作为另一项不同但相关的任务的起点。 您可以利用预训练模型中的知识（如学习到的特征或模式）并将其应用于您的特定问题，而不是从头开始训练模型。 当您的目标任务数据有限时，此方法特别有用，因为预训练模型已经封装了来自较大数据集的可泛化的特征。 例如，一个经过训练可以识别图像中的物体（如猫或汽车）的模型，可以通过仅重新训练其部分层来重新用于识别 X 射线中的医疗异常。
迁移学习背后的核心思想是神经网络学习数据的分层表示。 模型中的较低层通常捕获基本模式（图像中的边缘、纹理；文本中的词嵌入），而较高层捕获特定于任务的细节。 通过冻结预训练模型的初始层并仅重新训练后面的层，您可以保留一般特征，同时根据您的特定任务定制模型。 例如，在自然语言处理 (NLP) 中，像 BERT 这样的语言模型，在大量的文本语料库上进行了预训练，可以通过添加分类层并在较小的标记评论数据集上对其进行训练来微调以进行情感分析。 这样可以避免从头开始训练大型模型的计算成本。
迁移学习的实际例子很普遍。 在计算机视觉中，像 TensorFlow 和 PyTorch 这样的框架提供了预训练模型，例如 ResNet 或 MobileNet，这些模型通常用于自定义图像分类等任务。 例如，构建植物病害检测器的开发人员可以从 ResNet-50（在 ImageNet 上训练）开始，替换其最终分类层，并在较小的植物图像数据集上对其进行重新训练。 类似地，在 NLP 中，像 Hugging Face Transformers 这样的库提供了像 GPT 或 RoBERTa 这样的模型，这些模型可以适用于文本摘要或命名实体识别等任务。 迁移学习也适用于医疗保健等领域，在这些领域中，在一般医学图像上训练的模型可以适用于数据有限的罕见疾病。 像 Keras 的 applications 模块这样的工具通过允许开发人员加载预训练的权重并仅修改模型架构的必要部分来简化此过程。