掩码预测是自监督学习中的一项核心技术，它使模型能够在不依赖标记示例的情况下学习数据的有意义的表示。 这个想法很简单：随机隐藏输入的一部分（例如句子中的单词或图像中的补丁），并训练模型以预测缺失的内容。 通过强制模型根据周围的上下文推断缺失的信息，它可以学习捕获数据中的潜在模式和关系。 这种方法特别强大，因为它将非结构化数据转换为训练信号，消除了手动注释的需要，同时鼓励模型构建稳健的通用特征。
一个关键的例子是 BERT，一个基于 Transformer 的自然语言处理模型。 在 BERT 中，句子中 15% 的单词被随机屏蔽，模型必须使用双向上下文（掩码之前和之后的单词）来预测它们。 与 GPT 等以一个方向顺序预测单词的自回归模型不同，BERT 的双向方法使其能够学习更丰富的上下文关系。 例如，在句子“The [MASK] barked loudly”中，模型可以通过分析前面的和后面的单词来预测“dog”。 这种双向训练有助于模型理解细微的依赖关系，例如主谓一致或语义连贯性，这对于文本分类或问答等任务至关重要。
除了语言之外，掩码预测已被应用于其他领域。 在视觉中，诸如 Masked Autoencoders (MAE) 之类的模型随机遮盖图像块并重建丢失的像素。 这迫使模型学习空间层次结构、对象部分和纹理。 例如，如果模型看到汽车的部分遮盖图像，则必须根据周围的视觉上下文推断出丢失的车轮或车窗。 掩码预测的效率也很重要：由于仅处理用于重建的掩码区域，因此训练可以将计算资源集中在有意义的预测上，而不是冗余数据上。 然而，仍然存在挑战，例如确定最佳的掩码比率——太少的掩码会使任务变得微不足道，而太多的掩码会降低上下文。 尽管如此，掩码预测仍然是一种通用的、可扩展的自监督学习方法，适用于各种模式。