分词是将文本分解为更小的单元（称为词元）的过程，这些词元通常是单词、子词或字符。 在 NLP 中，词元充当模型分析和处理语言的基本元素。 例如，句子“I love NLP!”可能会被拆分为词元，如 ["I", "love", "NLP", “!”]。 这一步至关重要，因为原始文本是非结构化的，而模型需要数值或标准化输入。 分词有助于将非结构化文本转换为算法可以处理的格式，例如整数或向量序列。
分词方法因任务和语言而异。 简单的方法是通过空格和标点符号分割文本，但对于没有明确词语边界的语言（例如，中文）或处理像“don’t”这样的缩写（分割成 ["do", “n’t”]）可能会失败。 高级技术，例如子词分词（用于像 BERT 这样的模型），会将稀有词分解为更小的有意义的单元。 例如，“unhappiness”可能会变成 ["un", “happiness”]，允许模型识别单词之间共享的组成部分。 像 spaCy 或 Hugging Face 的分词器这样的库实现了规则或机器学习来处理边缘情况，例如连字符连接的单词或 URL，从而确保一致性。
开发人员在选择分词策略时必须考虑权衡。 基于单词的分词可能会导致形态丰富的语言（例如，土耳其语）的词汇量巨大，而子词方法则可以平衡词汇量大小和词汇外处理。 字符级分词完全避免了词汇问题，但会丢失语义含义。 例如，在字符级别翻译“cat”会将 "c"、"a" 和 “t” 分开处理，这可能无法捕获单词的含义。 分词还会影响计算效率：来自字符词元的较长序列需要更多内存，而单词词元会减少序列长度但会增加词汇量。 选择正确的方法取决于语言、任务和模型约束。