自监督学习 (SSL) 是一种机器学习方法，模型通过创建自己的训练信号来学习来自未标记数据的模式。 SSL 算法不依赖于人工注释的标签，而是直接从数据的结构生成伪标签。 这使得 SSL 在标记数据稀缺、获取成本高昂或需要领域专业知识的场景中特别有用。 以下是 SSL 已被证明有效的三种主要用例。
自然语言处理 (NLP) SSL 广泛用于 NLP 中，以在大型文本语料库上预训练语言模型。 例如，像 BERT 和 GPT 这样的模型使用诸如掩码语言建模（预测缺失的单词）或下一句预测等技术来学习文本的上下文表示。 然后可以在较小的标记数据集上对这些预训练模型进行微调，以执行诸如情感分析或问题解答之类的特定任务。 这种方法减少了对特定任务标记数据的需求，因为该模型已经了解了一般的语言模式。 例如，开发人员可以微调预训练的 BERT 模型，以使用最少的标记示例对客户支持电子邮件进行分类，从而节省时间和资源。
计算机视觉 在计算机视觉中，SSL 帮助模型学习视觉特征，而无需手动标记。 诸如对比学习（例如，SimCLR、MoCo）之类的技术训练模型以识别同一图像的不同增强视图（例如，裁剪或旋转版本）属于同一类别。 这使得模型可以学习强大的图像表示，这些图像表示对于诸如对象检测或分割之类的下游任务很有用。 一个实际的例子是医学成像，由于注释所需的专业知识，标记数据集很小。 通过使用 SSL 在未标记的 X 射线或 MRI 扫描上进行预训练，模型可以在以后使用有限的标记数据进行微调时获得更好的性能。
语音和推荐系统 SSL 在语音处理中有效，模型通过预测音频剪辑的掩码部分或重建波形来学习。 例如，wav2vec 2.0 使用 SSL 在原始音频上进行预训练，从而以更少的标记数据在语音识别中实现更好的性能。 在推荐系统中，SSL 可以通过基于历史数据预测下一次交互（例如，点击或购买）来对用户行为序列建模。 像 YouTube 或 Netflix 这样的平台可以使用 SSL 从未标记的交互日志中学习用户偏好，从而无需显式标签即可改进推荐。 这种方法具有可扩展性，并且可以适应随时间变化的用户偏好。
总而言之，SSL 在未标记数据丰富但标记数据有限的领域（例如 NLP、计算机视觉、语音和推荐）中表现出色。 通过利用数据的固有结构，SSL 减少了对手动标记的依赖，同时使模型能够学习用于下游任务的可转移表示。 开发人员可以使用诸如 Hugging Face Transformers（用于 NLP）或 PyTorch Lightning（用于视觉）之类的框架来实现 SSL，从而有效地将预训练模型适应于特定应用程序。