预训练模型是一种机器学习模型，它在被应用于特定任务之前，先在大型通用数据集上进行初步训练。开发人员不会从随机参数开始，而是使用这些预训练模型作为起点，利用模型已经学习到的模式和特征。这种方法在自然语言处理 (NLP) 和计算机视觉等领域非常常见，因为从头开始训练一个模型需要大量的计算资源和数据。例如，像 BERT（用于文本）或 ResNet（用于图像）这样的模型是在维基百科或 ImageNet 等大型数据集上进行预训练的，这使得它们能够理解基本结构（如语法或图像边缘），然后再针对情感分析或物体检测等任务进行微调。
开发人员使用预训练模型来节省时间和资源。从头开始训练一个模型通常需要数千小时的计算和标注数据，而许多团队缺乏这些资源。预训练模型消除了从零开始解决常见问题的需要。例如，在 NLP 中，像 GPT-3 这样的模型已经从其训练数据中学到了语法、世界知识和推理技能。开发人员可以在较小的医疗文本数据集上对其进行微调，从而创建一个用于回答患者问题的聊天机器人。同样，在计算机视觉领域，预训练的 ResNet 模型可以通过仅在少量标注图像上重新训练最后几层来适应识别制造业中的特定类型缺陷。像 Hugging Face Transformers 和 TensorFlow Hub 这样的框架提供了预训练模型的仓库，使得将它们集成到项目中变得更加容易。
虽然预训练模型提供了效率，但它们也需要仔细考虑。首先，模型的原始训练数据和任务必须与目标用例有一定的对齐。例如，一个在英语文本上训练的模型在没有额外训练的情况下，在韩语文本上表现会很差。其次，预训练模型可能非常大（例如，GPT-3 有 1750 亿个参数），这可能会给在资源有限的设备上部署带来挑战。开发人员通常使用量化或剪枝等技术来减小模型大小。第三，原始训练数据中的偏差可能会被继承，需要进行审计和调整。尽管存在这些考虑，预训练模型仍然是现代机器学习工作流程的基石，通过建立在现有知识的基础上而不是重新发明轮子，它们能够实现更快的实验和部署。