SHAP (SHapley Additive exPlanations，沙普利加性解释) 是一种解释机器学习模型输出的方法，它通过量化每个输入特征对特定预测的贡献来实现。 它结合了博弈论中的概念，特别是沙普利值，根据每个特征对模型预测的影响，为每个特征分配一个公平的“重要性分数”。 这些分数表明，相对于基线（例如，数据集上的平均预测），每个特征将预测推高或推低了多少。 SHAP 与模型无关，这意味着它可以与任何算法一起使用，从线性模型到复杂的神经网络，并提供全局（整体模型行为）和局部（单个预测）解释。
SHAP 的核心是通过考虑所有可能的特征组合及其对预测的边际贡献来计算沙普利值。 例如，在预测房价的模型中，建筑面积、位置和年龄等特征可能对每个预测的贡献不同。 SHAP 评估当包含或排除每个特征时，模型的输出如何变化，并在所有可能的排列中平均这些贡献。 这种方法确保了数学上一致且公平的特征重要性分配。 但是，精确计算的计算成本可能很高，因此实际实现（例如，基于树的模型的 TreeSHAP）使用近似值来保持效率。 例如，在信用评分模型中，SHAP 可能会揭示，即使考虑了就业历史等其他特征，拒绝贷款申请的主要原因是高债务收入比。
从开发人员的角度来看，SHAP 非常有价值，因为它弥合了模型性能和可解释性之间的差距。 诸如 SHAP 库之类的工具提供了可视化效果，例如显示全局特征重要性的摘要图或分解单个预测的力图。 例如，在调试医疗诊断模型时，开发人员可能会使用 SHAP 来验证模型依赖于临床相关的特征（例如，实验室结果），而不是虚假的相关性（例如，患者 ID）。 此外，SHAP 帮助团队与利益相关者沟通模型行为、遵守 GDPR 等法规（该法规要求对自动决策进行解释）并识别偏差。 通过提供统一的框架来解释模型输出，SHAP 使开发人员能够在构建对模型的信任的同时，保持跨不同算法和用例的灵活性。