AI 中的模型可解释性是指理解和解释机器学习模型如何做出决策的能力。 它回答诸如“为什么模型预测 X？”或“哪些特征影响了结果？”之类的问题。 这至关重要，因为许多复杂的模型（例如深度神经网络）都作为“黑匣子”运行——即使是构建它们的开发人员也无法轻易访问其内部逻辑。 可解释性的目标是使这些过程透明化，使开发人员能够验证逻辑、调试错误并确保模型与实际预期保持一致。 例如，医疗诊断模型可能会根据患者数据预测疾病，但如果没有可解释性，医生将无法验证它是否依赖于相关的生物标志物或虚假的相关性。
可解释性在实践和伦理上都很重要。 开发人员需要它来解决性能问题，例如模型由于意外的输入模式而在生产中失败。 例如，图像分类器可能会错误地标记图像，因为它过度关注背景纹理而不是主要对象。 诸如特征重要性评分或注意力图之类的可解释性工具可以揭示此缺陷。 从伦理上讲，可解释性有助于检测偏差——贷款审批模型可能会不公平地优先考虑邮政编码而不是收入水平，这可以通过分析特征贡献来发现。 像 GDPR 这样的法规也需要对自动化决策进行解释，这使得可解释性在某些情况下成为法律要求。 如果没有它，在医疗保健或金融等高风险领域部署模型会变得很危险。
实现可解释性需要根据模型复杂性量身定制的技术。 对于像线性回归这样的简单模型，系数直接显示特征影响。 对于基于树的模型，可视化决策路径或使用 SHAP（SHapley Additive exPlanations）值可以量化特征贡献。 对于神经网络，像 LIME（Local Interpretable Model-agnostic Explanations）这样的工具通过测试小的输入变化来在本地近似模型行为。 但是，存在权衡：更简单的模型更容易解释，但可能会牺牲准确性，而复杂的模型需要额外的精力来解开。 开发人员通常会根据用例来平衡这些因素——在透明度至关重要时选择可解释的模型（例如，信用评分），并在性能超过可解释性时接受黑匣子方法（例如，推荐系统）。 最终，可解释性弥合了模型输出和可操作的人工见解之间的差距。