自监督学习 (SSL) 通过使模型能够从大量未标记数据中学习有意义的模式来提高模型的泛化能力，从而减少对人工标注数据集的依赖。在 SSL 中，模型通过从输入数据的其他部分预测部分数据来生成自己的训练信号。例如，在自然语言处理 (NLP) 中，模型可能会预测句子中缺失的单词（掩码语言建模），从而迫使其理解上下文和单词之间的关系。通过训练此类任务，模型学习到的表示可以捕获数据中的底层结构，这些结构可以转移到下游任务（如分类或翻译）。此过程使模型能够接触到更广泛的数据变化，从而产生能够更好地泛化到未见示例的特征。
SSL 的一个关键优势是它能够利用各种未整理的数据。传统的监督学习通常会受到标记数据集有限的限制，这些数据集可能缺乏对边缘案例或罕见情况的覆盖。SSL 通过在没有标签的原始数据（例如，文本、图像或传感器读数）上进行训练来避免这种情况，从而允许模型从更广泛的模式中学习。例如，在计算机视觉中，训练用于预测图像块的相对位置或重建掩盖区域的模型可以学习空间层次结构和对象边界。这些特征不太可能过度拟合特定的标记示例，因为它们源自解决需要理解数据固有结构的任务。因此，SSL 训练的模型在应用于标记数据有限或存在领域偏移的任务时，通常表现更好。
另一个好处是预训练和微调的效率。SSL 允许模型在海量数据集（例如，所有公开可用的文本或图像）上进行预训练，以构建通用表示。然后，开发人员可以在较小的标记数据集上微调这些模型，以用于特定应用程序。例如，使用对比 SSL（模型学习区分同一图像的增强视图）预训练的视觉模型可以适应只有几百张标记 X 光片的医学成像任务。这种方法降低了标注成本，同时保持了性能，因为模型已经了解了边缘、纹理和形状等低级和中级特征。通过将表示学习与特定于任务的训练分离，SSL 创建的模型可以更稳健地适应新场景，从而提高跨领域的泛化能力。