什么是提前停止？ 提前停止是机器学习模型训练期间使用的一种技术，用于防止过拟合。它不是训练固定数量的 epoch，而是监控模型在验证集上的性能，并在性能开始下降时停止训练。例如，如果模型的验证误差停止改善或开始增加，则提前停止训练，以避免记住训练数据中的噪声或无关模式。 这种方法通过确保训练不会超过收益递减点来平衡模型复杂度。
它在实践中如何运作？ 在训练期间，在训练和验证数据集上跟踪损失或准确性等指标。 一种常见的实现方式是设置一个阈值（称为“耐心”），该阈值确定在停止之前等待改善的 epoch 数量。 例如，如果耐心设置为 3，则训练将继续进行，直到验证损失连续三个 epoch 未能改善为止。 此时，模型的权重将恢复到性能最佳的检查点。 TensorFlow 或 PyTorch 等工具提供回调函数（例如 Keras 中的 EarlyStopping）来自动化此过程。 开发人员可以自定义指标、耐心以及是否恢复最佳权重。
何时应该使用提前停止？ 当训练计算成本高的模型（例如，深度神经网络）或使用有限的数据（其中过拟合的风险很高）时，提前停止特别有用。 它减少了手动猜测最佳 epoch 数的需求，并通过停止不必要的训练来节省资源。 但是，它需要具有代表性的验证集 - 数据分割不佳可能会导致过早停止或错过改进。 尽管有效，但通常与 dropout 或权重衰减等其他正则化方法结合使用，以获得更好的结果。 例如，在小型数据集上训练文本分类器可能会使用提前停止和 dropout 层，以防止过拟合和浪费计算资源。