自监督学习 (SSL) 模型通常通过任务无关的表征质量指标和下游任务性能相结合的方式进行评估。 常见的指标包括线性评估准确率、聚类质量评分以及特定数据集上的微调结果。 这些指标有助于开发人员了解模型在预训练期间如何在不依赖标记数据的情况下捕获通用特征。
一种广泛使用的方法是 线性评估 ，其中一个简单的线性分类器在冻结的 SSL 生成特征之上进行训练。 例如，在视觉任务中，像 SimCLR 或 MoCo 这样的模型通常通过在从 SSL 模型中提取的 ImageNet 特征上训练线性层来评估。 此处的高准确率表明学习到的表征是可分离的，并且可用于分类。 另一个指标是 聚类质量 ，使用诸如归一化互信息 (NMI) 或调整兰德指数 (ARI) 等分数来衡量。 这些量化了模型对相似数据点的分组效果（例如，在没有标签的情况下对 MNIST 数字进行聚类）。 聚类指标对于强调对语义相关实例进行分组的 SSL 方法（例如 SwAV 或 DeepCluster）特别有用。
对于特定于任务的评估，开发人员通常会衡量下游数据集上的 微调性能 。 例如，在 ImageNet 上预训练的视觉 SSL 模型可能会在 Pascal VOC 上进行微调以进行对象检测，并通过平均精度 (mAP) 进行评估。 类似地，在 NLP 中，像 BERT 这样的模型在使用像 GLUE 或 SuperGLUE 这样的基准进行微调后进行评估。 此外，一些 SSL 方法在训练期间使用 对比损失 或 重建误差 作为间接的质量指标。 例如，变分自动编码器 (VAE) 可能会使用重建损失来衡量输入数据的重现效果，而像 CLIP 这样的对比方法会跟踪配对数据之间的相似度分数。 这些指标有助于开发人员调试训练，并确保 SSL 目标与期望的结果对齐。 通过结合这些方法，开发人员可以全面了解模型性能，从而平衡一般的表征质量与实际的任务效用。