AutoML 平台对特征进行排序，以确定哪些变量对模型的预测影响最大。此过程通常涉及统计方法、模型特定指标或基于置换的技术。例如，像随机森林或 XGBoost 这样的基于树的模型，通过跟踪每个特征在决策树的分裂中减少杂质（例如，基尼杂质）的程度来计算特征重要性。其他平台使用置换重要性，该方法测量当一个特征的值被打乱，破坏其与目标的关系时，模型性能的下降。像逻辑回归这样的线性模型基于系数的大小（标准化尺度）对特征进行排序，而像 SHAP（SHapley Additive exPlanations）这样的方法通过分析每个特征如何影响单个预测来提供模型无关的重要性分数。
AutoML 工具将这些技术作为其工作流程的一部分进行自动化。例如，像 H2O.ai 或 DataRobot 这样的平台可能会运行多个模型并聚合它们的特征重要性分数，以创建一致的排名。它们通常在计算重要性之前处理数据预处理（例如，编码分类变量、缩放），确保特征之间的公平比较。一些工具还结合相关性分析来标记冗余特征，减少多重共线性。例如，如果两个特征高度相关，平台可能会优先考虑与目标具有更强个体关系的特征。像 scikit-learn 的 feature_importances_ 或 PermutationImportance 模块等库通常在底层集成，允许开发人员无需手动实现即可访问排名。
开发人员应该理解，AutoML 中的特征排序是依赖于上下文的。对于金融欺诈检测模型（例如，交易频率）被认为重要的特征可能与医疗诊断系统（例如，血压读数）中的特征不同。平台也可能使用交叉验证来确保稳定性——在不同的数据分割中重新运行重要性计算，以避免过度拟合。虽然 AutoML 简化了该过程，但批判性地审查排名仍然至关重要。例如，具有高重要性的特征可能是泄露的代理（例如，意外包含在训练数据中的“客户 ID”）。大多数平台允许导出重要性分数，使开发人员能够验证结果或将其与领域知识相结合，以实现更好的特征工程。