自监督学习（SSL）框架旨在通过创建从数据本身生成监督信号的人工任务来使用无标签数据训练模型。核心组件包括一个前置任务（pretext task）、一个神经网络编码器（neural network encoder）和一个在训练过程中优化的损失函数（loss function）。这些元素协同工作，学习数据的有意义表示，这些表示随后可以针对特定的下游任务（如分类或分割）进行微调。让我们详细分解每个组件。
第一个关键组件是前置任务（pretext task），它是一个设计用来让模型在没有标签数据的情况下学习模式的人工问题。例如，在自然语言处理（NLP）中，常见的前置任务是掩码语言建模（如 BERT 中使用的），模型预测句子中缺失的词语。在计算机视觉中，前置任务可能涉及预测图像的旋转角度或重建缺失的图像块。前置任务的选择决定了模型学习何种特征。为了使任务有效，通常会应用数据增强（data augmentation）来生成多样化的输入变体。例如，在 SimCLR 等对比学习框架中，图像会被随机裁剪、旋转或调整颜色，以创建同一数据的多种“视图”，迫使模型关注不变的特征。
第二个组件是编码器架构（encoder architecture），它将原始数据处理成嵌入（数值表示）。这通常是一个神经网络，例如用于图像的 ResNet 或用于文本的 Transformer。编码器的作用是将高维输入（例如像素或词元）转换为捕获语义上有意义模式的低维向量。一些框架会在编码器之上添加一个投影头（projection head）——一个小型神经网络（例如多层感知机），以进一步将嵌入细化到一个更容易解决前置任务的空间。例如，在 MoCo（动量对比学习）中，投影头将嵌入映射到应用对比损失的归一化空间。预训练后，投影头通常会被丢弃，编码器的输出直接用于下游任务。
第三个组件是损失函数（loss function），它量化模型执行前置任务的程度。例如，在旋转预测中，交叉熵损失比较预测的旋转角度与实际的旋转角度。在对比学习中，像 NT-Xent（归一化温度缩放交叉熵）这样的损失衡量同一输入的增强视图的嵌入与不同输入的嵌入之间的相似度。损失函数促使编码器学习对噪声具有鲁棒性且语义上有意义的特征。训练过程涉及迭代更新模型的参数以最小化此损失，通常使用标准的优化器，例如 Adam。训练完成后，编码器的表示可以重复使用或用少量标签数据进行微调，以用于特定应用，这使得 SSL 成为利用无标签数据集的强大工具。