AutoML（自动化机器学习）和可解释性 AI (XAI) 是互补的方法，旨在解决机器学习中不同的挑战。 AutoML 专注于自动化重复性任务，例如模型选择、超参数调整和特征工程，从而使非专业人士也能访问 ML 并缩短开发时间。 另一方面，XAI 旨在通过提供关于 AI 模型如何做出决策的见解，使 AI 模型更加透明。 它们之间的关系在于平衡自动化和可解释性：AutoML 简化了模型创建，而 XAI 确保生成的模型是可理解和值得信赖的，尤其是在高风险应用中。
当 AutoML 生成的模型很复杂时（例如，深度学习集成或自动优化的管道），就会出现一个关键挑战，这会掩盖输入如何映射到预测。 例如，AutoML 工具可能会选择一个黑盒模型，如梯度提升树集成，该模型性能良好，但缺乏内在的可解释性。 在这里，可以应用诸如 SHAP（Shapley Additive Explanations，沙普利加和解释）或 LIME（Local Interpretable Model-agnostic Explanations，局部可解释的模型无关解释）等 XAI 技术，在训练后解释预测。 使用 AutoML 的医疗保健应用程序的开发人员可以依靠 XAI 生成特征重要性评分，显示哪些患者变量影响了诊断。 如果没有 XAI，利益相关者可能会因为 AutoML 模型的不透明性而不信任或误用它们。
将 XAI 集成到 AutoML 工具中正成为一种实际需求。 许多 AutoML 框架，例如 H2O Driverless AI 或 Google 的 Vertex AI，现在都包含内置的可解释性功能。 例如，H2O 会自动生成特定于模型的解释，包括为可读性而简化的决策树或部分依赖图。 开发人员可以使用这些来验证 AutoML 模型是否符合领域知识或法规要求，例如 GDPR 的“解释权”。 但是，这种集成需要仔细设计——自动化的管道必须保留元数据，以便 XAI 技术能够有效地工作。 通过将 AutoML 的效率与 XAI 的透明度相结合，开发人员可以创建既高性能又可审计的模型，从而确保它们满足技术和伦理标准。