神经网络本质上无法以人类可解释的方式解释它们的预测。它们的决策过程是由神经元层之间复杂的数学变换驱动的，因此很难追溯特定输入如何导致输出。例如，一个对图像进行分类的卷积神经网络 (CNN) 可能会激活隐藏层中的模式，这些模式对应于抽象特征（如边缘或纹理），但这些内部表示不容易映射到逻辑推理。这种缺乏透明度是一个关键限制，尤其是在医疗保健或金融等高风险领域，在这些领域中，理解“为什么”与准确性同样重要。
但是，开发人员可以使用技术来近似解释。像 LIME（局部可解释的与模型无关的解释）这样的方法创建简化的模型来模拟神经网络在特定预测周围的行为。例如，如果一个模型拒绝了一项贷款申请，LIME 可能会突出显示收入水平和信用记录作为影响因素。 transformers（例如，BERT）中的 注意力机制 通过显示模型在进行预测时“关注”哪些输入标记（单词）提供了另一层洞察力。 像 SHAP（SHapley Additive exPlanations）这样的工具通过分析当输入受到扰动时预测如何变化来量化特征的重要性。 这些方法不会揭示模型的内部逻辑，但提供事后近似。
尽管有这些工具，解释仍然不完整。例如，SHAP 值可能表明 X 射线中的像素区域影响了诊断，但没有说明模型如何解释这些像素。此外，不同的解释方法可能会产生相互矛盾的结果，使开发人员需要调和不一致之处。 CNN 中的 显著性图 等技术会突出显示影响输出的输入区域，但通常无法区分因果关系和相关性。虽然在可解释性方面不断取得进展，但神经网络仍然缺乏像基于规则的系统那样阐明推理的内在能力。 开发人员必须根据他们的用例权衡模型复杂性和可解释性之间的权衡。