AI 通过依赖数据中的模式、统计相关性和上下文推理来处理隐性知识。隐性知识指的是没有明确说明,而是从上下文、常识或共同文化理解中推断出来的信息。例如,知道“下雨了”意味着道路可能很滑,这没有写在手册中,而是推断出来的。AI 系统,特别是机器学习模型,通过分析大型数据集来识别微妙的关系来近似地做到这一点。例如,在文本上训练的语言模型可能会了解到“下雨”通常与“雨伞”或“交通”等词一起出现,从而使其能够推断出特定上下文的含义,而无需明确的规则。这些模型使用统计概率来对未说明的信息进行有根据的猜测。
一个关键的挑战是,隐性知识通常取决于未在训练数据中捕获的上下文。例如,一个医疗 AI 可能会从患者病历中列出的症状正确诊断出病情,但如果文化因素(例如,患者由于信仰而避免某些治疗)没有记录在案,则会遗漏一个关键的推论。为了解决这个问题,开发人员使用了诸如迁移学习之类的技术,即在广泛数据(例如,一般文本)上预训练的模型在特定领域数据(例如,医疗记录)上进行微调。这有助于模型更好地泛化到未见过的场景。但是,仍然存在差距:模型可能会误解文本中的讽刺意味,或者在没有足够示例的情况下无法识别区域成语,从而导致推理错误。
为了提高对隐性知识的处理能力,开发人员结合了多种方法。例如,混合系统将符号 AI(例如,知识图谱)与神经网络集成在一起。知识图谱可以编码诸如“下雨导致道路湿滑”之类的显式关系,而神经网络则处理来自文本的概率推断。另一种方法是使用人工反馈的强化学习 (RLHF),其中模型使用人工评估进行训练,以使输出与未说明的规范保持一致。例如,ChatGPT 使用 RLHF 来避免有害的回复,即使此类约束未在提示中明确提及。这些方法有助于 AI 近似地理解隐性知识,但它们仍然不完善,需要通过迭代测试和数据更新进行持续改进。