DeepSeek 的 R1 模型主要通过子词分词来处理未登录词（OOV），这是一种将未知词分解为更小、可识别的单元的技术。该模型不完全依赖于固定的词汇表，而是使用字节对编码（BPE）或类似方法等算法将词分解为子词片段。例如，像“unsplash”这样的词，如果其组成部分存在于训练数据中，可能会被分解为“un”、“spl”和“ash”等子词。这种方法允许模型通过利用熟悉的子词模式来处理它从未明确见过的词语，从而减少未登录词场景的影响。
模型的分词器经过训练，可以在预处理期间识别统计上频繁出现的子词单元。在推理过程中遇到未登录词时，分词器会应用相同的规则将该词分解为已知子词。例如，假设“TransformerXL”这样的技术术语，如果“Transform”、“er”和“XL”这些子词是训练语料库的一部分，它可能会被分解为“Transform”、“er”和“XL”。这种方法确保即使是新词也能通过学习到的嵌入组合来表示。此外，模型的架构——通常是基于 Transformer 的设计——会在上下文中处理这些子词序列，使其能够根据周围的标记推断意义。这对于处理训练数据中不存在的领域特定行话或新造词至关重要。
对于子词分解不足以处理的情况（例如，完全新的字符组合），模型可能会采用回退策略。一种常见的方法是将稀有或不可分割的标记映射到特殊的“未知”标记（例如，<UNK>），尽管子词方法已将其影响降到最低。R1 模型很可能还会补充上下文注意力机制：即使某个词的子词不熟悉，Transformer 层也可以利用位置嵌入和注意力权重，根据句子中的句法和语义模式来近似其意义。例如，在短语“The quantum flux capacitor activated”中，即使“flux capacitor”被分解为子词，模型也能根据“quantum”和“activated”推断它是一种技术设备。子词分词和上下文分析的结合在鲁棒性和计算效率之间实现了平衡。