BERT 通过在两个任务上进行训练来使用自监督学习：Masked Language Modeling (MLM，掩码语言建模) 和 Next Sentence Prediction (NSP，下一句预测)。这些任务使模型能够在不需要手动标记数据的情况下学习文本中的上下文关系。相反，BERT 通过操纵输入句子（例如，屏蔽单词或配对句子）来生成自己的“标签”，并学习预测原始内容或关系。 这种方法使 BERT 能够构建对语言结构的通用理解，然后可以针对特定的 NLP 任务（如分类或问答）进行微调。
在 Masked Language Modeling (MLM，掩码语言建模) 中，BERT 随机屏蔽句子中 15% 的 tokens，并学习使用其周围的上下文来预测被屏蔽的单词。 例如，给定输入句子 “The [MASK] sat on the mat”，BERT 双向处理所有 tokens（使用左侧和右侧上下文）以预测被屏蔽的单词，该单词可能是 “cat”。 与早期从左到右或从右到左处理文本的模型不同，BERT 的双向 Transformer 架构允许它考虑每个单词的完整上下文。 这对于理解细微差别至关重要，例如区分 “river bank” 中的 “bank” 与 “bank account”。 掩码确保模型不会过度依赖特定单词，而是学习强大的上下文模式。
对于 Next Sentence Prediction (NSP，下一句预测)，BERT 学习确定两个句子是否在逻辑上相互跟随。 在训练期间，50% 的输入对是连续的句子（例如，“The cat sat. It was hungry.”），50% 是来自不相关文本的随机对。 该模型对第二句话是否是有效的延续进行分类。 例如，给定 “He opened the door.” 紧随其后的是 “A cold breeze entered”，BERT 学习识别有效的序列。 此任务帮助模型理解句子之间的关系，这对于诸如问答或文档摘要之类的任务至关重要。 在 MLM 和 NSP 上进行预训练后，BERT 的参数会在较小的标记数据集上针对特定任务进行微调，从而利用其预训练的知识，同时适应新的目标。 自监督预训练和特定于任务的微调的这种组合使 BERT 在各种 NLP 应用程序中都非常有效。