自监督学习 (SSL) 是一种机器学习方法，其中模型通过生成自己的训练信号，而不是依赖手动标记的数据集来从数据中学习模式。 在 SSL 中，输入数据本身用于创建监督任务，允许模型在没有人工标注标签的情况下学习有意义的表示。 这是通过设计前置任务来实现的——结构化的挑战，迫使模型从输入的其他部分预测输入的部分。 例如，模型可能会预测句子中缺失的单词或重建图像中缺失的部分。 核心思想是解决这些任务需要理解数据的底层结构，然后可以将其应用于下游任务，如分类或聚类。
自然语言处理 (NLP) 中 SSL 的一个常见例子是掩码语言建模，用于 BERT 等模型中。 在这里，句子中的随机单词被隐藏，模型学习根据上下文预测它们。 这迫使模型掌握语法、句法和语义关系。 在计算机视觉中，像 SimCLR 这样的对比学习框架通过创建图像的增强版本（例如，裁剪或旋转）并训练模型来识别来自同一原始图像的成对图像，从而使用 SSL。 通过学习区分相似和不相似的对，模型构建了鲁棒的视觉表示。 这些方法演示了 SSL 如何利用固有的数据结构来减少对标记数据的依赖，而标记数据通常成本高昂或不切实际。
SSL 在标记数据稀缺但未标记数据丰富的场景中尤其有价值。 例如，训练模型来分析医学图像可能需要专家注释，这非常耗时。 SSL 可以通过预测旋转或重建掩码区域来在未标记的扫描上预训练模型，然后稍后使用较小的标记数据集对其进行微调。 然而，设计有效的前置任务至关重要：选择不当的任务可能导致无法很好地泛化的表示。 尽管存在这一挑战，SSL 已经成为现代人工智能系统的基石，能够有效地训练像 GPT 和 ResNet 这样的大型模型。 通过专注于数据驱动的监督，SSL 弥合了监督学习和无监督学习之间的差距，为不同的应用提供了一个灵活的框架。