监督学习模型中的可解释性是指理解和解释模型如何进行预测的能力。这至关重要，因为开发人员和利益相关者需要信任模型的决策、诊断错误，并确保其符合道德或监管标准。例如，如果一个模型预测是否应该批准贷款申请，可解释性有助于确定它是否依赖于相关因素，如收入和信用记录——或有偏差的特征，如邮政编码。如果没有这种清晰度，模型可能会被视为“黑盒”，这可能会导致在现实应用中的不信任或意想不到的后果。
对可解释性的需求通常取决于模型的复杂性及其使用的上下文。像线性回归这样的简单模型本质上是可解释的，因为它们的系数直接显示每个输入特征如何影响输出。然而，像深度神经网络或集成方法（例如，梯度提升树）这样的复杂模型牺牲了解释性以获得更高的准确性。SHAP（SHapley Additive exPlanations）或 LIME（Local Interpretable Model-agnostic Explanations）等工具通过近似特征如何影响预测来解决这个问题。例如，SHAP 可以突出显示图像分类模型中哪些像素对将图片标记为“猫”而不是“狗”的贡献最大。这些方法使开发人员能够在准确性和透明度之间取得平衡，尤其是在医疗保健或金融等高风险领域。
实施可解释性还支持调试和合规性。如果模型性能不佳，像特征重要性得分或部分依赖图这样的技术可以揭示它是否过度拟合噪声或遗漏了关键模式。在受监管的行业中，像欧盟的 GDPR 这样的法律要求组织解释影响个人的自动化决策。例如，一家使用模型来拒绝信贷的银行必须向申请人提供理由，例如“信用评分低”或“高债务收入比”。通过将可解释性构建到开发过程中——通过更简单的模型、事后分析工具或透明的文档——开发人员可以确保模型不仅有效，而且具有责任感并与用户需求保持一致。