当处理有限或不可用的数据集时，迁移学习允许您利用预训练模型来获得强大的结果，而无需大量的新数据。 其核心思想是重用从相关任务或领域学习的特征，并将其调整到您的特定问题。 这种方法特别有效，因为预训练模型已经学习了一般模式（例如，图像中的边缘或文本中的语义关系），这些模式可以通过最小的调整应用于新任务。
首先，使用预训练模型作为特征提取器。 删除模型的最终分类层，冻结其余层，并添加针对您的任务量身定制的新输出层。 例如，如果您正在使用小数据集对医学图像进行分类，请从像 ResNet 这样的模型开始（在 ImageNet 上预训练）。 冻结层将提取有意义的视觉特征，而新的输出层可以在您的有限数据上进行训练。 这降低了过度拟合的风险，因为只有一小部分模型的参数被更新。 像 TensorFlow 或 PyTorch 这样的工具简化了此过程 - 例如，在 PyTorch 中，您可以为基础层设置 requires_grad=False，并且仅训练新的分类器。
如果您有稍微更多的数据（例如，几百个样本），请考虑微调预训练模型。 解冻一些更深的层，并以较低的学习率训练它们，以使特征适应您的数据集。 对于文本任务，即使只有有限的示例，也可以在特定领域的文本（例如，法律文件）上微调像 BERT 这样的模型。 数据增强（例如，翻转图像，向文本添加噪声）和正则化技术（例如，dropout，权重衰减）在这里至关重要。 例如，通过应用旋转和亮度调整来增强包含 200 张汽车图像的数据集可以使有效的训练数据翻倍，从而改善模型泛化。
如果不存在数据集，请探索合成数据生成或零样本学习。 对于图像，像 Stable Diffusion 这样的工具可以基于文本提示生成合成训练样本。 在 NLP 中，像 GPT-4 这样的模型可以通过使用精心设计的提示来执行任务而无需微调。 或者，使用领域自适应：使用对抗训练等技术可以将针对合成工业缺陷图像训练的模型调整为真实世界的图像。 像 Hugging Face 或 OpenAI 的 API 这样的框架为这些方法提供了可访问的途径，使开发人员能够绕过数据稀缺挑战，同时保持强大的性能。