预训练任务是自监督学习 (SSL) 框架的核心组成部分。它们充当一种机制，通过定义人工目标来训练未标记数据上的模型，从而鼓励模型学习有意义的表示。这些任务旨在通过创建一个模型必须仅使用输入数据解决的问题来模拟监督学习，而无需人工注释的标签。例如，一个常见的预训练任务涉及修改图像（例如，旋转它）并训练模型来预测修改（例如，旋转角度）。通过解决此类任务，模型可以学习捕获数据中潜在模式的特征，这些特征稍后可以针对特定的下游任务（如分类或检测）进行微调。
预训练任务的一个关键优势是它们能够引导模型学习泛化能力强的特征。例如，在自然语言处理中，一个预训练任务可能涉及屏蔽句子中的一个词，并训练模型来预测缺失的词（如在 BERT 中）。这迫使模型理解上下文以及词语之间的关系。在计算机视觉中，诸如预测图像块的相对位置或重建损坏的图像（例如，图像修复）之类的任务，鼓励模型识别空间层次结构和对象结构。这些任务并不直接与特定应用程序相关联，而是侧重于构建对数据的基本理解。学习到的特征的质量很大程度上取决于预训练任务的设计——有效的任务与数据的结构和潜在下游应用程序的需求相符。
但是，设计有效的预训练任务需要仔细考虑。如果任务过于简单（例如，预测低级别的像素值），则模型可能无法学习高级特征。相反，过于复杂的任务可能会导致过拟合或计算效率低下。例如，诸如 SimCLR 之类的对比学习方法使用一个预训练任务，该任务比较同一图像的增强视图，以教导模型对诸如裁剪或颜色变化之类的变换的不变性。这种方法避免了显式任务定义，而是依赖于相似性指标。开发人员必须试验任务设计，以平衡计算成本和学习到的特征的相关性。如果做得好，预训练任务使 SSL 模型能够胜过传统的无监督方法，并缩小与监督学习之间的差距，尤其是在标记数据稀缺的领域中。