AutoML 通过处理数据集划分为训练集、验证集和测试集来自动进行数据分割，而无需手动配置。此过程确保机器学习模型在一个数据子集上进行训练，在另一个数据子集上进行验证以调整超参数，并在最终的预留集上进行测试以评估性能。大多数 AutoML 工具使用预定义的规则或自适应策略来有效地分割数据。例如，一种常见的方法是随机分配 70-80% 的数据用于训练，10-15% 用于验证，以及 10-15% 用于测试。 AutoML 框架通常包括检查以确保分类任务中类别分布的平衡，例如分层抽样，它在分割中保留目标类别的比率。这可以防止罕见类别在训练集中代表性不足的情况，这可能会损害模型的准确性。
自动化还考虑了数据集特征，如大小、时间依赖性或特定领域要求。例如，如果数据具有基于时间的组件（例如，销售记录），AutoML 可能会强制执行时间顺序分割，以避免在验证期间对未来数据进行训练。类似地，对于不平衡的数据集，一些工具会自动应用技术，例如在训练集中过度采样少数类或调整分割比率以确保所有类别都有充分的表示。 AutoML 平台还可以使用交叉验证策略，例如 k 折，其中数据被划分为多个子集以迭代地训练和验证模型。例如，5 折交叉验证将数据分为五个部分，每次迭代中使用四个进行训练，一个进行验证，然后聚合结果。这减少了性能估计中的方差，对于较小的数据集尤其有用。
开发人员通常可以通过参数自定义分割过程，尽管 AutoML 提供了合理的默认值。例如，像 Google AutoML 或 H2O.ai 这样的工具允许用户指定验证/测试集大小、用于重现性的随机种子或在需要时禁用分层。 AutoML 还处理边缘情况，例如检测和删除可能在分割之间泄露信息的重复条目。一些系统甚至分析数据依赖关系——例如具有多个条目的患者记录——以确保来自单个实体的所有数据都保留在一个分割中。通过自动化这些步骤，AutoML 降低了数据准备中人为错误的风险，同时保持了开发人员在领域知识规定特定方法时覆盖默认值的灵活性。自动化和可配置性之间的这种平衡简化了工作流程，而不会牺牲控制。