自监督学习 (SSL) 通过让模型在对特定任务进行微调之前，从无标签数据中学习具有广泛适用性的表示，从而提高了下游任务的性能。与需要针对每个任务定制大型带标签数据集的传统监督方法不同，SSL 使用自动生成的目标来预训练模型。例如，模型可能会预测输入的缺失部分（如文本中的掩码词或图像块），或者学习区分增强数据和原始数据。这个预训练阶段捕捉了数据结构中的模式，例如句子中词语之间的关系或图像中的边缘，这些模式可以很好地泛化到许多下游任务。通过利用通常非常丰富的无标签数据，SSL 减少了对昂贵的带标签数据集的依赖，同时构建了对数据领域的基础理解。
SSL 的一个关键优势在于其学习鲁棒且可迁移特征的能力。例如，在自然语言处理中，像 BERT 这样的模型通过预测句子中的掩码词进行预训练。这迫使模型理解上下文、语法和语义，这些对于情感分析或命名实体识别等任务很有用。类似地，在计算机视觉中，像 SimCLR 这样的方法通过对比图像的增强视图（例如裁剪或旋转版本）来预训练模型，教导模型无论视角或噪声如何都能识别对象。这些特征比来自传统监督模型的特征更具适应性，后者通常过度拟合狭窄的、特定于任务的标签。例如，一个只训练用于分类猫狗的监督模型可能难以处理像检测纹理这样的无关任务，而 SSL 模型更广泛的预训练提供了一个更好的起点。
SSL 还解决了数据稀缺和效率问题。传统方法需要为每个新任务从头开始重新训练或收集大型带标签数据集。相比之下，SSL 预训练允许开发者使用少量带标签数据在多个任务中重复使用同一个模型。例如，一个通过 SSL 在 ImageNet 上预训练的视觉模型，只需少量带标签数据集就可以微调用于医学图像分割，因为预训练的权重已经编码了边缘检测和形状识别的能力。这减少了计算成本并加速了部署。此外，SSL 模型通常在低数据场景下优于传统方法，因为它们的预训练特征充当了一种正则化机制，减少了过拟合。通过先专注于通用学习，然后再进行专业化，SSL 在灵活性和性能之间取得了平衡，这是传统监督方法难以比拟的。