自监督学习 (SSL) 方法使模型能够通过从数据本身创建监督信号，从无标签数据中学习有意义的表示。三种广泛使用的方法包括对比学习、前置任务和基于聚类的方法。这些技术很受欢迎，因为它们减少了对标签数据集的依赖，同时在图像分类、自然语言处理和语音识别等任务中实现了具有竞争力的性能。
对比学习 侧重于训练模型来区分相似和不同的数据点。例如，在计算机视觉中，像 SimCLR 和 MoCo 这样的框架生成相同图像的增强版本（例如，裁剪、颜色变化）作为正样本对，并将其他图像视为负样本。该模型通过最小化正样本对的嵌入之间的距离，同时最大化负样本对的嵌入之间的距离来学习。这种方法已被证明在视觉任务中有效，通过对比学习训练的模型（如 ResNet-50）在 ImageNet 上与监督模型相媲美。代码实现通常使用余弦相似度等相似度指标和 NT-Xent（归一化温度缩放交叉熵）等损失函数。
前置任务 涉及设计辅助任务，其中标签直接从数据中派生。在自然语言处理中，BERT 使用掩码语言建模：句子中的随机单词被隐藏，模型使用周围上下文预测它们。对于图像，任务包括预测图像旋转（例如，RotNet）或重建缺失的补丁（例如，MAE）。这些任务迫使模型学习空间关系或语义上下文等特征。前置任务具有灵活性且与领域无关，使其适用于视频（预测帧顺序）或音频（重建频谱图）等模式。
基于聚类的方法 通过将数据点分组到聚类中并迭代地细化表示来分配伪标签。例如，DeepCluster 将 k-means 聚类应用于图像特征，并将聚类分配用作分类目标。 SwAV（交换视图之间的分配）通过强制同一图像的不同增强视图的聚类分配之间的一致性来提高效率。这些方法避免了代价高昂的成对比较（如对比学习），并且可以很好地扩展到大型数据集。像 FAISS 这样的库通常用于加速聚类步骤，并且最近的变体将在线聚类直接集成到神经网络训练循环中。
每种方法都有其权衡：对比学习需要仔细的增强设计，前置任务取决于任务相关性，聚类方法需要高效的分配算法。但是，这三种方法都提供了强大的框架，用于在没有手动标签的情况下学习表示，使其成为开发人员使用非结构化数据的基本工具。