子词嵌入是一种在自然语言处理 (NLP) 中表示单词的方法，通过将单词分解为更小的单元，例如字符序列、前缀、后缀或其他有意义的组成部分。与传统的词嵌入（如 Word2Vec 或 GloVe）为每个完整单词分配一个向量不同，子词嵌入为这些较小的单元生成表示。 然后将这些子词单元组合起来，为完整单词创建嵌入。例如，单词“unhappiness”可能会被分成“un”、“happy”和“ness”等子词。 这种方法允许模型通过从已知的子词部分重建含义来处理稀有或未见过的单词。
子词嵌入对于解决词汇表外 (OOV) 单词和形态复杂性等挑战特别有用。语言通常具有具有共享词根或词缀的单词（例如，“run”、“running”、“runner”），而子词方法通过表示共享组件来捕获这些关系。例如，使用子词嵌入训练的模型可以推断“unhappiness”与“happy”和否定词“un”相关，即使它之前没有见过确切的单词。这在具有丰富形态的语言（如土耳其语或芬兰语）中尤其有价值，在这些语言中，单词可以有许多屈折形式。此外，子词技术通过将拼写错误或俚语（例如，“coooool”拆分为“coo”和“ol”）分解为可识别的片段来处理它们。
子词嵌入的常见实现包括字节对编码 (BPE)、WordPiece 和 SentencePiece 等算法。 BPE 用于 GPT 等模型，迭代地合并频繁的字符对以创建子词。 WordPiece 用于 BERT，采用类似的方法，但优先考虑使语言模型可能性最大化的子词。 这些方法使模型能够平衡词汇量和覆盖范围。例如，BPE 可能会将“lower”拆分为“low”和“er”，从而允许模型将“lower”链接到“low”和比较后缀“er”。通过利用子词，模型减少了对大型词汇表的依赖，同时提高了泛化能力，使其在跨不同语言和领域的机器翻译、文本生成和情感分析等任务中更加高效。