自标记是自监督学习 (SSL) 的核心概念，它使模型能够从未标记数据生成自己的训练信号。 与依赖于手动注释标签的监督学习不同，SSL 方法通过利用数据本身的内在结构来创建伪标签。 例如，在对比学习中，模型可能会从同一图像创建成对的增强视图，并将它们视为“正”对（同一类别），而来自不同图像的视图形成“负”对。 然后，模型学习最小化正对之间的距离，并最大化负对之间的距离。 这种方法有效地将学习表示的问题转化为区分相似和不相似数据点的任务，而无需人工标记的类别。
自标记的主要优势在于它能够将学习扩展到大量未标记数据，而这些数据通常比标记数据集更容易访问。 例如，在自然语言处理中，BERT 等模型使用掩码语言建模（一种自标记形式），其中模型使用周围的上下文作为“标签”来预测句子中被掩盖的词。 这使得模型能够学习语义和句法关系，而无需依赖于精心策划的数据集。 同样，在计算机视觉中，SimCLR 或 BYOL 等框架通过对图像应用变换（例如，裁剪、颜色失真）来生成伪标签，并训练模型以识别同一图像的不同增强版本属于同一概念组。 这个过程迫使模型专注于不变特征，从而提高泛化能力。
然而，自标记也带来了挑战。 伪标签的质量在很大程度上取决于前置任务（自监督目标）的设计。 设计不佳的任务可能会导致模型学习到微不足道或不相关的特征。 例如，如果对比学习设置中的增强过于弱，则模型可能会依赖于低级模式（如颜色），而不是高级语义。 为了解决这个问题，方法通常使用精心策划的增强策略或辅助损失，以确保有意义的学习。 此外，由于需要处理多个增强视图或维护对比学习的内存库，计算成本可能会增加。 尽管存在这些权衡，但自标记仍然是利用未标记数据的强大工具，使其成为现代 SSL 管道的基石。