显著性图是可解释 AI (XAI) 中的一种技术，用于识别输入（例如图像中的像素或文本中的单词）中哪些部分对机器学习模型的预测影响最大。 它生成一种视觉或数值表示（“显著性图”），突出显示模型认为重要的输入数据区域。 例如，在图像分类中，显著性图可能会在图像上叠加热图，以显示哪些像素对模型将其标记为“猫”或“狗”的贡献最大。 目标是通过揭示模型所依赖的特征，使模型的决策过程更加透明。
技术方法通常涉及计算梯度或敏感度得分。 在前向传递期间，模型处理输入并生成预测。 通过计算模型输出（例如，预测的类概率）相对于输入的梯度，您可以衡量每个输入特征中的微小变化如何影响输出。 诸如梯度加权类激活映射 (Grad-CAM) 或逐层相关性传播 (LRP) 之类的方法使用这些梯度来创建显著性图。 例如，Grad-CAM 将卷积层中的激活图与梯度信息相结合，以突出显示图像中的重要区域。 这些方法的复杂性各不相同：有些方法适用于任何可微模型，而另一些方法则针对特定的架构（如 CNN）量身定制。
显著性图对于调试和改进模型非常实用。 例如，如果模型错误分类了狗的图像，开发人员可能会检查显著性图，以查看模型是否关注了背景而不是动物。 但是，也存在局限性。 显著性图可能会产生噪声或突出显示无关特征，尤其是在具有复杂架构的模型中。 它们也不能解释为什么某些特征很重要，只能解释在哪里重要。 开发人员应将显著性图与其他 XAI 方法（例如，LIME 或 SHAP）相结合，以获得更完整的了解。 尽管存在这些警告，但显著性图仍然是一种简单、广泛使用的工具，用于解释医疗成像、自动驾驶和 NLP 等应用中的模型行为。