知识增强型嵌入是词语、短语或实体的向量表示，它将传统的语言模式与来自外部知识库（如 Wikidata、Freebase 或特定领域的数据库）的结构化信息结合起来。与仅从文本中学习关系的标准嵌入（如 Word2Vec 或 BERT）不同，这些嵌入集成了明确的事实、关系或分类。例如，一个知识增强模型可能会编码“巴黎”是法国首都，属于“城市”类别，并连接到埃菲尔铁塔等地标建筑——这些信息并非总是仅从文本中显而易见。这种混合方法有助于模型更好地理解上下文和现实世界逻辑，尤其是在文本数据模糊或不完整的情况下。
这些嵌入是通过合并两个来源创建的：文本上下文（来自句子或文档）和结构化知识（如实体-关系图）。一种常用方法是训练模型将基于文本的嵌入与知识图谱嵌入对齐。例如，模型可能会处理“apple”一词，识别它可能指代公司或水果，并使用知识库将其链接到相关实体（例如，“Apple Inc.” 与“水果 apple”）。常使用实体链接（将文本提及与知识库条目匹配）或图神经网络（在连接的实体之间传播信息）等技术。百度开发的 ERNIE 或微软的 KEPLER 等工具通过将知识图谱三元组（主语-谓语-宾语事实）注入基于 Transformer 的模型中来展示这一点，从而提高了它们解决歧义的能力。
当您的任务需要理解精确的关系、特定领域的事实或复杂的实体交互时，应该使用知识增强型嵌入。例如，在医疗应用中，标准嵌入可能难以区分上下文相似的药物名称（例如，“warfarin” 和 “ibuprofen”），但知识增强版本可以整合药物相互作用数据库或化学性质。它们在推荐系统（例如，将产品链接到品牌和类别）或对事实准确性要求严格的问答系统中也很有价值。然而，它们增加了复杂性——您需要访问相关的知识库和计算资源来对齐文本和结构化数据。当显性知识的好处超过开销时，尤其是在专业领域或处理缺乏足够文本上下文的罕见实体时，请使用它们。