自监督学习（SSL）提供几个关键优势，尤其是在标记数据稀缺或获取成本高昂的场景中。通过利用未标记数据的内在结构来生成训练信号，SSL 减少了对手动注释的依赖，同时仍使模型能够学习有意义的表示。这种方法已在自然语言处理（NLP）和计算机视觉等领域得到广泛采用，这些领域可以轻松获得大规模的未标记数据集。
SSL 的一个主要优势是它能够从大量未标记数据中学习。传统的监督方法需要每个任务的标记示例，创建这些示例可能既昂贵又耗时。SSL 通过从数据本身创建代理任务来绕过此问题。例如，在 NLP 中，像 BERT 这样的模型经过训练来预测句子中被屏蔽的单词，使用周围的上下文作为监督。同样，在计算机视觉中，模型可以通过预测图像的旋转角度或重建缺失的补丁来学习。这些任务迫使模型理解数据中的关系，为分类或分割等下游任务奠定基础。
另一个好处是改进的泛化。SSL 通过将模型暴露于未标记数据中的各种模式，鼓励模型捕获强大且可转移的特征。例如，经过预训练以预测序列中下一个音频段的语音模型学习了声学特征，这些特征对于说话人识别或情感检测等任务很有用。这与监督模型形成对比，监督模型可能过度拟合到狭窄的特定于任务的标签。医学成像提供了另一个例子：在未标记的 X 射线上预训练的 SSL 模型可以随后适应以检测具有最少标记示例的异常，因为它们已经学习了通用解剖结构。
最后，SSL 在领域和数据类型方面提供了灵活性。像对比学习这样的技术（模型区分相似和不同的数据点）可以应用于图像、文本、音频或图数据，只需进行最少的调整。这种通用性使 SSL 成为开发人员处理各种项目的实用工具。例如，对比框架可以训练模型来识别两个蛋白质结构在功能上是否相关，或者两个代码片段是否解决了相同的问题。通过统一跨模态的预训练，SSL 简化了工作流程，减少了对特定于领域的工程的需求，从而更容易扩展机器学习解决方案。