NLP 中的自监督学习 (SSL) 涉及在输入数据本身生成标签的任务上训练模型，从而无需手动标注。 这种方法利用文本的固有结构来创建训练信号。 例如，模型可能会预测句子中缺失的单词或猜测序列中的下一个单词。 通过解决这些任务，模型可以学习通用的语言模式，然后可以针对翻译或分类等特定应用进行微调。
一种常见的 SSL 方法是**掩码语言建模** (MLM)，用于 BERT 等模型。 在这里，句子中的随机单词被替换为 [MASK] 标记，模型学习根据上下文预测原始单词。 例如，在句子“猫坐在 [MASK] 上”中，模型通过分析周围的单词来推断“垫子”或“地板”。 这教会了模型单词和语法结构之间的关系。 另一种方法是 自回归建模，如 GPT 中所示，模型预测序列中的下一个单词（例如，用“蓝色”完成“天空是…”）。 这些任务迫使模型理解语法、语义，甚至一些世界知识。
SSL 的主要优势在于它能够使用大量的未标记文本语料库（如书籍或网页）进行预训练。 预训练后，模型在较小的标记数据集上进行微调，以执行情感分析或问题解答等任务。 例如，在 Wikipedia 上预训练的 BERT 模型可以通过添加分类层并在 IMDb 等数据集上进行训练来适应对电影评论进行分类。 这减少了对昂贵的标记数据的依赖，并提高了低资源场景中的性能。 Hugging Face Transformers 等库提供了可访问的工具来实现基于 SSL 的模型，使开发人员可以轻松地将其集成到应用程序中。