由于深度学习模型固有的复杂性、准确性和可解释性之间的权衡以及缺乏标准化的评估方法，将可解释人工智能（XAI）应用于深度学习模型面临挑战。深度学习模型，例如卷积神经网络（CNN）或 Transformer，由数百万个参数和层组成，以非线性方式处理数据。这使得追踪特定输入如何产生输出变得困难。例如，在图像分类中，早期层可能会检测边缘或纹理，而后期层将这些特征组合成抽象模式。诸如显著性图或基于梯度的解释等技术试图突出重要的输入区域，但这些方法通常会产生嘈杂或不一致的结果。深度学习架构的不透明性使得提供清晰、人类可理解的解释变得困难，尤其是在决策依赖于特征之间复杂交互的情况下。
另一个挑战是平衡模型性能与可解释性。深度学习模型通常通过利用其学习复杂模式的能力来实现高精度，但这种复杂性牺牲了透明度。例如，用于医疗诊断的深度神经网络可能优于决策树等更简单的模型，但如果临床医生无法验证其推理过程，他们可能会拒绝接受它。后验解释方法，如 LIME 或 SHAP，通过围绕特定预测创建更简单的替代模型（例如线性分类器）来近似模型行为。然而，这些近似可能会过度简化模型的逻辑或未能捕捉全局行为。例如，LIME 可能为相似的输入突出显示不同的特征，导致解释不一致。这种权衡迫使开发者在准确性和可信度之间做出选择，尤其是在医疗保健或金融等高风险领域。
最后，关于如何评估或标准化 XAI 方法尚未达成共识。不同的技术常常产生相互冲突的解释，并且没有事实真相来验证其正确性。例如，与 Transformer 中的注意力机制相比，SHAP 值可能将预测归因于不同的输入特征，使得开发者不确定应该信任哪种方法。评估也具有领域特异性：适用于欺诈检测的解释（例如，突出交易异常）可能无法满足法律或医疗用例所需的严谨性。此外，许多 XAI 方法计算成本高昂，特别是对于大型模型，限制了其实用性。如果没有标准化的指标或基准，开发者难以选择可靠的解释方法，导致采用分散，并可能导致对 AI 系统的不信任。应对这些挑战需要开发稳健、一致的评估框架，并根据特定用户需求定制解释。