子词嵌入是一种在自然语言处理中表示词语的方法，它将词语分解为更小的单元，例如字符组合或词素。与为每个完整的词分配一个唯一的向量（如传统词嵌入）不同，子词方法将词分解为多个部分。这使得模型能够更有效地处理罕见词、拼写错误和形态变化。例如，“unhappiness”这个词可能被分解为“un-”、“happy”和“-ness”等子词。字节对编码（BPE）或 FastText 等流行技术采用这种策略来提高跨语言和词汇的泛化能力。
子词嵌入的一个关键优势在于其处理未登录词（OOV）的能力。例如，FastText 通过对字符 n-gram（例如，3 到 6 个字符的序列）的嵌入进行求和来生成词向量。如果模型遇到一个未见过的词，如“unhappily”，它仍然可以通过结合已知的子词，如“un-”、“happy”和“-ly”来创建有意义的表示。类似地，BPE 在分词过程中将词分解为频繁出现的子词单元。例如，“transformer”可能变成“trans”、“form”和“er”。这与 Word2Vec 等方法形成对比，Word2Vec 在遇到训练时未出现的词时会失效，因为它无法从子词结构推断出关联。
子词嵌入在处理形态丰富的语言（例如，土耳其语、芬兰语）或特定领域术语的任务中特别有用。在机器翻译中，它们使得模型能够通过将复合词分解为熟悉的组成部分来处理它们。它们还减少了词汇量——模型无需存储数百万个词的向量，而是可以学习数千个子词的模式，从而提高效率。对于开发者而言，Hugging Face 的 Tokenizers 等库提供了易于使用的子词方法实现，如 BPE 或 WordPiece（BERT 中使用）。通过专注于子词单元，模型在细粒度和计算效率之间取得了平衡，提高了需要细致语言理解的任务性能。