大型语言模型 (LLM) 通过将词汇表外的词 (OOV) 分解成更小的、已知的组成部分（称为子词标记）来处理它们。像 GPT 和 BERT 这样的模型不是依赖于固定的词汇表，而是使用诸如 Byte-Pair Encoding (BPE) 或 SentencePiece 之类的技术，将不熟悉的单词拆分成部分。例如，像“量子隐形传态”这样的技术术语可能会被分成“量子”和“隐形传态”，如果这两个子词都在模型的训练数据中。如果即使这些子词也是未知的，模型可能会进一步拆分成更小的单元，如 "qu", "ant", "um" 等。这种方法允许模型通过近似识别片段的含义来处理以前未见过的单词。
当 OOV 词无法分解成有意义的子词时，LLM 依赖于上下文来推断其用途。例如，如果一个句子包含一个新的俚语词，例如“yeet”，如“He yeeted the ball across the field”，模型会分析周围的词（“ball”、“across”、“field”）来猜测“yeet”与投掷有关。同样，诸如新的编程库名称（例如，“PyTorchLightning2023”）之类的特定领域术语可以使用相邻的关键字（例如，“import”或“neural network”）进行解析。但是，这种上下文推断并非万无一失。含糊不清的 OOV 词，尤其是那些没有明确子词线索的词，可能会导致不正确的解释。例如，一个虚构的医学术语，如“neurofloxazine”，可能会根据句子结构被误解为药物或疾病。
开发者可以通过预处理文本或微调模型来缓解 OOV 问题。诸如拼写检查、规范化大小写或扩展缩写（例如，将“LLM”转换为“大型语言模型”）之类的预处理步骤可以减少 OOV 的出现。对于特定领域的应用，在专业数据（例如，医学期刊或代码存储库）上重新训练模型的标记器有助于它识别技术术语。但是，如果 OOV 词很重要（例如，聊天机器人中的品牌名称），则在微调期间显式地将其添加到标记器的词汇表中可确保正确处理。使用真实世界的示例（例如，带有拼写错误或利基行话的用户生成文本）进行测试对于识别和解决特定用例中 OOV 处理的差距至关重要。