SSL（自监督学习）通过使模型能够从无标签数据中学习通用表示来帮助解决域偏移问题，这些表示可以更好地适应新的数据分布。当模型测试的数据（目标域）与其训练数据（源域）不同时，会发生域偏移，例如图像中的光照条件或文本中的写作风格的差异。 SSL 通过训练模型来解决“预训练任务”来解决这个问题，这些任务迫使它们捕获数据中的底层模式，而不是记住特定于域的细节。例如，预测句子中缺失的单词或重建屏蔽的图像块教会模型关注数据中的结构关系，即使在域更改时这些关系通常保持一致。
SSL 的一个关键优势是它能够在预训练期间利用来自不同领域的大量无标签数据。例如，使用对比学习（一种常见的 SSL 方法）训练的视觉模型可能会学习到汽车或树木等物体在不同的环境中具有一致的形状，即使背景颜色或光照不同。类似地，使用屏蔽语言建模在书籍、论坛和技术文档上预训练的语言模型可以更好地泛化到新的写作风格或主题。通过 SSL 将模型暴露于各种数据，它变得不那么依赖于表面的特定于域的特征（如图像中的特定相机传感器），而更专注于高级语义。这减少了对源域的过度拟合，并使模型的功能更具可转移性。
一旦通过 SSL 进行预训练，模型就可以在来自目标域的有限标记数据上进行微调，从而显着提高适应性。例如，通过 SSL 在通用图像上预训练的模型可能只需要一小部分标记的医学扫描即可在医疗保健领域表现良好，因为其预训练的功能已经理解边缘、纹理和形状。诸如域对抗训练或参数高效微调（例如，适配器）等技术可以进一步完善这些功能。此外，SSL 通常在预训练期间结合数据增强（例如，旋转图像、向文本添加噪声），这模拟了域变化并迫使模型学习不变表示。这种广泛的预训练和有针对性的适应相结合使 SSL 成为处理现实世界域偏移的实用工具。