自监督学习 (SSL) 通过直接从输入数据生成标签，而不是依赖外部标注来训练神经网络。核心思想是创建一个“预训练任务”，其中数据的某些部分被隐藏、转换或用于预测其他部分，迫使模型学习有意义的表示。例如，在文本中，一个句子可能屏蔽了一些单词，模型学习预测缺失的单词。网络通过反向传播调整其参数，以最小化解决这些合成任务中的错误，从而有效地学习数据中固有的模式和结构。这种方法利用了大量未标记数据，使其适用于标签数据稀缺或获取成本高昂的领域。
一个常见的例子是掩码语言建模，用于像 BERT 这样的模型。在这里，句子中 15% 的单词被随机替换为 [MASK] 标记，模型预测原始单词。这需要理解上下文、语法和语义。对于图像，预训练任务可能包括预测裁剪的补丁的相对位置或重建图像的缺失部分（图像修复）。对比学习是另一种 SSL 技术：模型学习识别两个增强视图（例如，旋转、裁剪）是否属于同一原始图像。通过在嵌入空间中将相似的数据点拉近并将不相似的数据点推开，网络可以构建强大的特征表示。这些任务旨在确保模型捕获可泛化的特征，而不是记忆具体的细节。
SSL 的主要优点是减少了对标记数据的依赖，这对于像医学成像或多语言 NLP 这样标注有限的领域尤其有价值。但是，SSL 需要仔细设计预训练任务，以确保它们与下游应用程序对齐。例如，如果旋转预测不强调空间关系，则训练用于预测图像旋转的模型可能在对象检测方面表现不佳。此外，SSL 通常需要大量的计算资源进行预训练，尽管稍后在标记数据上进行微调通常会更快。开发人员可以使用像 PyTorch 或 TensorFlow 这样的框架，通过定义自定义损失函数和数据增强管道来实现 SSL，从而平衡任务复杂性和计算效率。