嵌入通过使用将罕见词或对象分解为更小组件、利用上下文信息或整合外部数据的技术来处理它们。对于文本，诸如 WordPiece 或 Byte-Pair Encoding 等子词标记化方法将罕见词分割成熟悉的部分（例如，“uncommon” 变成 “un” + “common”），允许模型重用常用子词的嵌入。字符级嵌入将单词表示为字符序列，使模型能够通过组合学习到的字符模式来处理未见过的单词。对于非文本对象，例如推荐系统中的项目，嵌入可以整合元数据（例如，产品类别）或使用来自相关领域的迁移学习来推断有意义的表示，即使数据稀疏。
在 NLP 中，一个具体的例子是 BERT 使用 WordPiece 标记化。如果一个罕见词（如“zebra”）不在词汇表中，它可能会被分割成诸如“ze”和“bra”之类的子词，这些子词的嵌入会被组合起来。 类似地，FastText 将单词表示为其字符 n 元语法的总和（例如，“blogging” 表示为 “blo” + “log” + “gging”），即使对于拼写错误或罕见的术语也有效。在推荐系统中，像利基小工具这样很少购买的商品，其嵌入可以使用诸如类别（“电子产品”）或品牌之类的特征进行初始化，从而允许模型推断与其他小工具的相似之处，即使交互数据有限。 字符级方法对于特定领域的术语（例如，医学术语）或名称特别有用，即使像 “Xyzzy” 这样罕见的序列也可以由常用字符构建。
挑战包括平衡词汇量大小与计算效率 - 添加太多子词会增加内存使用量，而太少会导致更多未知标记。对于对象，对元数据的依赖假设此类数据可用且相关。子词规则未涵盖的词汇表外 (OOV) 单词可能仍然需要回退策略，例如哈希或默认 UNK 嵌入，这会牺牲特异性。开发人员必须根据他们的数据选择方法：子词标记化适合具有形态复杂性的语言，而字符级模型在高度可变或嘈杂的文本方面表现出色。 对于非文本对象，将嵌入与元数据组合通常提供最大的灵活性，但需要仔细的特征工程以确保有意义的表示。