自然语言处理（NLP）中的自监督学习（SSL）允许模型无需依赖手动标注数据集即可学习文本的有用表示。相反，SSL 框架设计了训练任务，其中输入数据本身提供了监督信号。例如，模型可能预测句子中缺失的词语，或推断文本段之间的关系。这些任务使模型能够从大量非结构化文本中学习模式、语法和语义。一旦通过 SSL 进行预训练，模型就可以在较小的标注数据集上针对特定的下游任务（如分类或翻译）进行微调，从而显著减少对昂贵人工标注的需求。
SSL 在 NLP 中的一个关键示例是掩码语言建模（MLM），用于 BERT 等模型中。在 MLM 中，句子中的随机词被替换为一个占位符标记（例如，[MASK]），模型学习根据上下文预测缺失的词语。这迫使模型理解词语之间的双向关系。另一种方法是自回归建模，如 GPT 模型所示，模型预测序列中的下一个词，学习生成连贯的文本。此外，ELECTRA 等对比学习方法训练模型区分句子中真实标记和人工替换标记。这些任务计算密集，但能使模型捕捉到细微的语言特征，例如多义词（具有多个含义的词语）或长距离依赖关系。
SSL 已成为现代 NLP 流水线的基础。像 BERT、RoBERTa 和 T5 这样的预训练模型被广泛用作情感分析、命名实体识别和文本摘要等任务的起点。开发者利用 Hugging Face Transformers 等库，通过少量标注示例即可在特定领域数据（例如，医学文本或法律文件）上微调这些模型。SSL 还支持跨语言迁移：像 XLM-Roberta 这样的模型在预训练期间学习多语言表示，使其能够在资源匮乏的语言上表现良好。虽然 SSL 减少了对标注数据的依赖，但仍存在实际挑战，例如选择最优的预训练任务和管理计算成本。然而，它将原始文本转化为可操作知识的能力使 SSL 成为 NLP 开发的基石。