可解释人工智能 (XAI) 通过使模型行为透明化，从而提高模型的泛化能力，使开发者能够识别和解决阻碍模型在未见数据上表现的弱点。泛化能力依赖于模型学习适用于训练数据之外的模式，而 XAI 提供了工具来审计模型是依赖有意义的特征还是噪声。例如，特征重要性分数或显著性图等技术可以揭示模型在预测过程中优先考虑哪些输入。如果模型对不相关的训练数据模式过拟合，XAI 可以帮助开发者发现这一点，并调整模型架构、数据或训练过程以提高模型的鲁棒性。
XAI 帮助泛化的一种实用方式是突出模型对虚假相关性的过度依赖。假设一个医疗诊断模型在医院数据集中使用了不相关的特征，例如患者 ID 号，来预测结果。像 SHAP (SHapley Additive exPlanations) 这样的工具可以通过显示 ID 字段的高归因权重来揭示这一点。开发者随后可以移除该特征，重新训练模型，并通过 XAI 验证预测现在依赖于临床相关的因素，例如实验室结果。类似地，在图像分类中，遮挡敏感性分析可能揭示模型关注的是背景像素而不是对象本身。通过增强训练数据或添加正则化来解决这个问题，可以提高泛化能力。
XAI 还有助于检测欠拟合或过于简化的决策边界。例如，测试准确率较低的模型可能由于训练不充分而只使用了可用特征的一个子集。神经网络中的逐层相关性传播 (LRP) 可以显示更深层忽略了有意义的输入，从而促使调整，例如增加模型容量。此外，比较训练和测试数据之间的解释可以揭示分布偏移。如果一个欺诈检测模型在训练期间使用交易位置进行预测，但在测试数据中遇到没有位置信息的数据，XAI 工具会显示这种不匹配，指导开发者使用更鲁棒的特征进行再训练。通过利用这些见解迭代地改进模型，开发者可以构建泛化能力强的系统。