自监督学习 (SSL) 模型通过结构化任务生成自身的训练信号，从而从未标注数据中进行学习。SSL 不依赖人工标注，而是利用数据本身的内在模式来创建监督信号。例如，在文本数据中，模型可以利用周围上下文作为输入，预测句子中缺失的词语。在图像中，模型可以通过重建被破坏的输入版本来学习，例如填充缺失的像素。这些任务迫使模型学习数据的有意义表示，而无需显式标注。核心思想是设计一个“pretext task”（前置任务），引导模型捕获有用的特征，这些特征随后可以针对特定的下游应用（如分类或翻译）进行微调。
一个常见的例子是像 BERT 这样的模型中使用的掩码语言模型。在此，模型随机遮盖句子中的词语，并学习根据剩余的上下文来预测它们。这个过程教会了模型词语之间的关系、句法结构，甚至一些语义含义。在计算机视觉领域，像 SimCLR 这样的对比学习框架会创建同一图像的增强视图对（例如，裁剪、旋转或颜色调整后的版本），并训练模型识别哪些对属于同一原始图像。通过学习区分相似和不相似的数据点，模型能够建立对视觉特征的强大理解。这些技术都基于有意义的数据具有结构的假设，并且模型可以利用这种结构无需标注即可进行学习。
SSL 的有效性取决于 pretext task（前置任务）的设计和模型架构。例如，Transformer 模型在基于文本的 SSL 中表现出色，因为其注意力机制能有效捕获长距离依赖关系。视觉模型通常使用卷积网络或视觉 Transformer，并结合增强策略来学习不变特征。一个关键挑战是确保 pretext task 与目标任务一致；如果旋转不变性不关键，预测图像旋转可能对模型分类对象没有帮助。然而，SSL 减少了对标注数据的依赖，使其适用于标注稀缺或昂贵的领域。一旦完成预训练，SSL 模型可以使用少量标注数据集进行微调，通常能达到与完全监督方法相当的性能。这种灵活性使得 SSL 成为处理大型、未经整理数据集的开发者的强大工具。