分词是文本自监督学习的基础步骤，它作为原始文本数据与模型使用的数值表示之间的桥梁。它将文本分解成更小的单元——如词、子词或字符——使模型能够高效地处理和学习序列。例如，像“The quick brown fox”这样的句子可能会被分割成 ["The", "quick", "brown", “fox”] 等标记。分词的选择直接影响模型泛化、处理罕见词汇和管理计算资源的能力。没有有效的分词，模型将难以解析语言模式或扩展到大型数据集。
像字节对编码 (BPE) 或 WordPiece 这样的分词方法通过将罕见词或未见词拆分成更小的、可重用的子词单元来解决词汇表外 (OOV) 词汇的挑战。例如，单词“unhappiness”可以被分割成 ["un", “happiness”]，允许模型分别识别前缀“un-”和词根“happiness”。这种子词方法在保持处理多样化文本灵活性的同时减少了词汇量。在像掩码语言模型（BERT 中使用）这样的自监督任务中，分词决定了模型预测的内容：掩盖“hugging”中的子词标记 [“hug”] 迫使模型学习子词之间的上下文关系。糟糕的分词——例如不一致的拆分——可能会使这些任务变得模糊或过于复杂，损害学习效果。
最后，分词影响训练效率。像 GPT 或 RoBERTa 这样的自监督模型处理大量数据集，因此分词必须平衡序列长度和计算成本。与字符级分词（会产生过长的输入）相比，子词方法使序列更简洁。例如，单词“tokenization”拆分成 ["token", “ization”] 比拆分成单个字符所需的标记更少，从而减少了内存使用。此外，分词器通常包含特殊标记（例如，[CLS]、[SEP]）来标记句子边界，这有助于模型在预训练期间学习结构。通过定义如何分割文本，分词塑造了整个学习流程，从输入表示到模型捕捉有意义的语言特征的能力。