深度学习中的正则化是一组用于防止模型过拟合的技术，即记忆训练数据而不是学习一般模式。当模型在训练数据上表现良好，但在新的、未见过的数据上表现不佳时，就会发生过拟合。正则化方法引入约束或修改学习过程，以鼓励模型优先考虑更简单、更稳健的模式。这有助于提高泛化能力，确保模型在现实场景中可靠地工作。
常见的正则化技术包括 L1/L2 正则化、dropout 和数据增强。 L1 和 L2 正则化在损失函数中添加惩罚项，以抑制模型中的大权重。例如，L2 正则化（在许多神经网络中使用）添加一个与权重平方成正比的项，这鼓励更小、更平滑的权重值并降低对噪声的敏感性。 Dropout 通常用于全连接层，在训练期间随机停用一部分神经元，迫使网络依赖不同的路径并避免过度依赖特定节点。数据增强在图像任务中很流行，它通过对输入图像应用旋转或裁剪等变换来人为地扩展训练数据集，使模型接触到更多的数据变化。这些方法通过引入“受控噪声”或约束来限制模型过拟合的能力。
正则化的选择取决于问题和模型架构。例如，dropout 在大型神经网络中很有效，而 L2 正则化通常与线性模型（如逻辑回归）配对使用。开发者必须平衡正则化强度：太多会导致欠拟合（模型无法学习有意义的模式），而太少可能无法防止过拟合。实际实现通常涉及使用验证数据调整超参数，如 dropout 率或 L2 正则化中的 lambda 值。例如，在用于图像分类的卷积神经网络 (CNN) 中，在密集层之间添加 dropout 层并将 L2 正则化应用于内核权重可以显着提高测试准确性。正则化是构建泛化能力强的模型的基础工具，但需要仔细的实验才能有效应用。