神经网络中的正则化是一组旨在防止过拟合的技术。当模型在训练数据上表现良好，但在新的、未见过的数据上表现不佳时，就会发生过拟合。当网络过于专注于训练样本，捕获噪声或不相关的模式而不是可泛化的特征时，就会发生过拟合。正则化方法通过在训练期间引入约束或惩罚来解决这个问题，鼓励模型优先考虑更简单、更健壮的模式。这提高了模型泛化到真实世界数据的能力，同时保持了在训练集上的性能。
一种常见的方法是 L1/L2 正则化，它修改损失函数以惩罚网络中的大权重。 L1 正则化增加一个与权重绝对值成正比的惩罚，这可以将一些权重驱动为零，从而有效地从模型中删除某些特征。 L2 正则化增加一个基于权重平方大小的惩罚，阻止过度大的值而不强制稀疏性。例如，在 TensorFlow 中，向密集层添加 L2 正则化可能涉及在层初始化期间设置 kernel_regularizer=tf.keras.regularizers.l2(0.01)。另一种广泛使用的方法是dropout，其中随机选择的神经元在训练期间被暂时忽略。这迫使网络将学习分散到所有神经元，而不是过度依赖于特定节点。例如，dropout 率为 0.5 意味着每个神经元在每个训练步骤中都有 50% 的几率被停用，使用 tf.keras.layers.Dropout(0.5) 实现。
选择正确的正则化方法取决于问题和数据。 L2 通常是权重正则化的一个安全的起点，而 dropout 在具有许多层的大型网络中特别有效。提前停止是另一种正则化技术，它监控验证性能并在改进停滞时停止训练，防止模型过度优化训练集。开发人员应该尝试超参数，如正则化强度 (lambda) 或 dropout 率，以平衡欠拟合和过拟合。例如，过于激进的 L2 惩罚可能会过度简化模型，而太少的 dropout 可能会使网络容易记住噪声。正则化是一种实用工具，但它需要调整和验证才能实现最佳结果。