神经网络中的超参数是一种配置设置，用于控制模型在训练过程中如何学习。与模型参数（例如权重和偏差）不同，模型参数是从数据中自动学习的，而超参数则是在训练开始前手动设置的。这些设置会影响模型的架构、优化过程和训练行为。例如，学习率是一个超参数，它决定了模型在每次更新时调整其参数的幅度。超参数至关重要，因为它们直接影响训练效率、模型性能以及对新数据的泛化能力。
超参数的常见示例包括学习率、批量大小、隐藏层数量、每层神经元数量和正则化强度。学习率控制梯度下降过程中的步长；值过高可能导致训练不稳定，而值过低则会减慢收敛速度。批量大小影响在更新参数之前处理多少数据样本——较大的批量使用更多内存，但提供更平滑的梯度估计。隐藏层和神经元的数量定义了模型学习复杂模式的能力。例如，一个浅层网络可能对简单数据欠拟合，而一个过深的网络则可能过拟合。Dropout 率或 L2 惩罚等正则化超参数通过对模型添加约束来帮助防止过拟合。激活函数（例如 ReLU、sigmoid）有时也被认为是超参数，尽管它们通常在选择后固定不变。
开发者通过实验或自动化方法（如网格搜索、随机搜索或贝叶斯优化）调整超参数。Keras Tuner 或 Optuna 等工具通过测试组合并选择那些能够最大化验证准确率的组合来自动化此过程。然而，手动调优仍然很常见，尤其是在领域知识指导初始选择时。例如，对于微调预训练模型，可能更倾向于较小的学习率，而较大的学习率可以加快从头开始训练的速度。超参数通常是相互依赖的：较大的批量大小可能需要调整学习率。TensorFlow 和 PyTorch 等框架提供了默认值，但实际问题通常需要定制。这个过程是迭代且资源密集型的，因为训练多种配置计算成本很高。最终，理解超参数的作用有助于开发者平衡训练速度、模型复杂度和性能。