自监督学习 (SSL) 是一种无监督特征学习技术，它利用未标记数据的内在结构来训练模型。 SSL 不依赖于显式标签，而是创建代理任务（通常称为预训练任务），模型通过预测输入数据的部分内容来学习其他部分。 这个过程迫使模型提取有意义的模式或特征，然后可以将其重用于下游任务，如分类或聚类。 通过将无监督学习构建为一系列监督任务，SSL 弥合了原始数据和有用的表示之间的差距，无需手动注释。
一个常见的例子是在自然语言处理 (NLP) 中，像 BERT 这样的模型使用掩码语言建模作为预训练任务。 在这里，模型通过分析周围的上下文来学习预测句子中缺失的单词。 这迫使模型将句法和语义关系编码到其内部表示中。 同样，在计算机视觉中，模型可能会预测图像的旋转角度或重建缺失的补丁，从而学习边缘、纹理或对象形状等特征。 例如，一个经过训练以预测图像是否已旋转 0°、90°、180° 或 270° 的模型必须隐式地识别对象方向和空间层次结构。 这些任务不需要标记数据，但仍然指导模型捕获可泛化的特征。
SSL 的主要优势在于它能够有效地学习可转移的特征。 例如，一个在旋转预测上预训练的视觉模型稍后可以用最少的标记示例进行微调以进行图像分类。 这减少了对大型标记数据集的依赖，而创建这些数据集的成本很高。 SSL 还避免了传统无监督方法（如聚类或降维）的局限性，这些方法通常会产生与特定假设相关的特征（例如，线性可分性）。 相比之下，SSL 特征通过结构化的代理目标针对与任务相关的模式进行优化。 开发人员可以使用 PyTorch 或 TensorFlow 等框架实现 SSL，重用标准架构（例如，ResNet、Transformers）并将其适应于预训练任务。 这种实用性使 SSL 成为实际应用中用于无监督特征学习的多功能工具。