多任务学习 (MTL) 通过使模型能够同时学习多个目标，从而在自监督学习 (SSL) 中发挥重要作用，这提高了它们的泛化能力。在 SSL 中，模型使用前置任务在未标记数据上进行训练——例如，预测输入的缺失部分或对比相似和不相似的样本。MTL 通过组合多个前置任务来增强这一点，迫使模型捕获更丰富、更鲁棒的表示。例如，模型可能会同时学习预测图像旋转和重建屏蔽的补丁。这种方法降低了模型过度拟合单个任务的风险，并鼓励发现对各种场景有用的特征。
从技术角度来看，SSL 中的 MTL 通常涉及设计一个共享编码器来处理输入数据，以及每个前置目标的特定于任务的头部。编码器学习提取满足所有任务的特征，而头部专门将这些特征转换为特定于任务的输出。例如，在自然语言处理中，可以训练 Transformer 模型来预测屏蔽的标记（如 BERT）和重新排序打乱的句子。共享层学习服务于这两个任务的句法和语义模式，从而产生更多功能的嵌入。在计算机视觉中，卷积网络可以同时解决拼图游戏和为灰度图像着色，编码器捕获与两者相关的空间层次结构和纹理细节。开发人员可以使用 PyTorch 等框架来实现这一点，方法是计算每个任务的单独损失并在反向传播期间组合它们（例如，对加权损失求和）。
SSL 中 MTL 的优势包括提高数据效率和更好的下游任务性能。例如，在多个前置任务上训练的模型可能需要更少的标记示例，以便在分类或分割等任务上进行微调。然而，挑战包括平衡任务贡献（例如，避免一个任务主导损失）和选择兼容的任务。诸如不确定性加权或梯度归一化等技术可以帮助管理冲突梯度。一个实际应用是在医疗成像中，其中标记数据稀缺：训练用于预测 MRI 扫描旋转和修复缺失区域的模型可以学习用于诊断多种病症的特征。通过仔细设计任务组合，开发人员可以创建更好地泛化并适应具有有限监督的真实场景的 SSL 模型。