在自监督学习 (SSL) 中，使用未标记数据进行预训练至关重要，因为它允许模型从大量的非结构化数据中学习通用的模式和表示，而无需依赖手动标注。 SSL 的工作原理是设计一些任务，从数据本身生成“伪标签”，使模型能够推断关系和特征。例如，自然语言处理 (NLP) 中的一种常见技术包括掩盖句子的一部分，并训练模型来预测缺失的单词。这迫使模型理解上下文、语法和语义。 类似地，在计算机视觉中，模型可能会预测图像的旋转角度或重建缺失的图像块。 通过解决这些替代任务，模型可以建立对数据结构的基础理解，随后可以使用有限的标记数据针对特定应用进行微调。
使用未标记数据进行预训练的一个实际好处是，它能够利用手动标记不切实际的大型数据集。 例如，在 NLP 中，像 BERT 或 GPT 这样的模型是在来自书籍、网站和文章的 TB 级文本上进行训练的——远远超过任何团队可以实际注释的文本量。 这些模型无需明确的监督即可学习识别语法规则、单词关联，甚至是特定领域的知识（例如，医学或法律术语）。 在计算机视觉中，在像 ImageNet 这样的未标记图像集合上预训练的模型稍后可以通过最少的微调在对象检测或分割等任务中表现出色。 这种方法在标记数据稀缺或获取成本高昂的领域（例如医学成像或卫星图像分析）中尤其有价值。 预训练模型充当特征提取器，从而减少了下游对大量标记数据集的需求。
另一个优点是提高了模型的鲁棒性和泛化能力。 通过在预训练期间将模型暴露于不同的未标记数据，它可以学习处理较小的标记数据集中可能不会出现的输入变化。 例如，在不同光照条件、角度和背景下预训练未标记图像的视觉模型将比仅在精选的标记数据上训练的模型更好地泛化到现实世界的场景。 同样，在语音识别中，对原始音频数据进行预训练有助于模型适应口音或背景噪音。 当在生产环境中部署模型时，这种鲁棒性尤其有用，因为边缘情况很常见。 此外，预训练减少了过度拟合，因为模型首先对数据分布有广泛的理解，而不是记住来自小型标记数据集的狭窄模式。 对于开发人员来说，这意味着更快的迭代周期、更低的标记成本以及在各种用例中更可靠的性能。