生成模型和自监督学习密切相关，因为生成模型通常用作自监督学习框架的核心组件。自监督学习 (SSL) 是一种训练范式，模型通过生成自己的监督信号从无标签数据中学习，通常是通过从其他部分预测输入的部分内容。生成模型侧重于对底层数据分布进行建模以创建新样本，这与此目标自然吻合。例如，训练模型来预测句子中缺失的单词或重建损坏的图像像素需要理解数据的结构，这是一项生成任务。这种关系使 SSL 能够利用生成模型来学习有意义的表示，而无需依赖标记的数据集。
这种连接的一个关键例子出现在自然语言处理 (NLP) 中。像 BERT 这样的模型使用掩码语言建模——一种自监督任务，其中模型预测句子中随机掩盖的单词。这本质上是生成性的，因为模型必须生成合理的单词来填补空白。类似地，像 GPT 这样的自回归模型通过预测序列中的下一个标记来生成文本，这既是生成性的又是自监督的目标。在计算机视觉中，变分自编码器 (VAE) 或去噪自编码器等生成模型经过训练以重建损坏或不完整的图像，这是另一种形式的自监督学习。这些任务迫使模型通过解决源自数据本身的合成但有意义的预测问题来学习稳健的特征。
生成模型和 SSL 之间的协同作用提供了实际优势。首先，它可以使用大量的无标签数据，这些数据比标记数据更便宜且更丰富。例如，在图像修复或文本预测等 SSL 任务上预训练生成模型可以生成通用特征提取器，然后在较小的标记数据集上对其进行微调，以用于分类等特定任务。其次，生成性 SSL 任务鼓励模型捕获数据的底层结构，从而提高泛化能力。虽然并非所有 SSL 方法都是生成性的（例如，对比学习使用判别性目标），但由于生成性方法在表示学习中的有效性，它们仍然是 SSL 中的主要策略。这种关系将继续推动 NLP、计算机视觉和多模态 AI 等领域的进步。