为了评估 AutoML 的性能，开发人员通常使用三种指标：模型质量、计算效率和实际可用性。这些指标有助于评估自动化系统在选择、调整和部署机器学习模型时的表现，同时平衡准确性、速度和资源限制。
首先，**模型质量指标** 侧重于生成模型的预测性能。对于分类任务，常见的指标包括准确率、精确率、召回率、F1-score 和 AUC-ROC。对于回归，广泛使用均方误差 (MSE)、平均绝对误差 (MAE) 和 R 平方。例如，一个优化欺诈检测模型的 AutoML 工具可能会优先考虑精确率和召回率，以最大限度地减少假阴性（漏报欺诈），同时控制假阳性。 同样，在销售预测项目中，如果目标是最大限度地减少异常值的影响，则 MAE 可能优于 MSE。 这些指标通常使用交叉验证或预留数据集来衡量，以确保稳健性。
其次，**计算效率指标** 衡量 AutoML 过程消耗的资源。关键指标包括训练时间（挂钟时间或 CPU/GPU 时间）、内存使用情况以及随数据集大小的可扩展性。例如，与需要 3 小时才能训练出一个高精度图像分类器的 AutoML 系统相比，在 10GB 数据集上在 30 分钟内训练出一个高精度图像分类器的 AutoML 系统可能更受欢迎，即使后者获得略微更好的准确性。 开发人员还会跟踪超参数调整效率——系统收敛到最佳配置的速度。 诸如 Auto-Sklearn 或 H2O.ai 之类的工具通常会报告诸如“每秒评估的模型数”或“最佳模型所需时间”之类的指标来量化这一点。
第三，**实际可用性指标** 评估 AutoML 系统与实际工作流程的集成程度。 这些包括可重复性（跨运行的一致结果）、可解释性（易于解释模型决策）以及与部署管道的兼容性。 例如，以 ONNX 格式导出模型的 AutoML 工具简化了跨平台的部署，而生成过于复杂的集成可能会阻碍调试。 此外，“用户干预频率”（需要手动调整的频率）或“特征工程透明度”（预处理步骤的清晰文档）等指标决定了在生产环境中的采用。 平衡这些因素可确保 AutoML 解决方案不仅在理论上合理，而且在操作上可行。