深度学习中的学习率是什么？ 学习率是一个超参数，它决定了神经网络的权重在训练期间更新的幅度。在基于梯度的优化算法（如随机梯度下降（SGD））中，学习率会缩放步长的大小，以根据计算出的损失梯度调整权重。 较高的学习率意味着较大的权重更新，可能会加快训练速度，但也存在超过最佳值的风险。 较低的学习率会导致更小、更精确的更新，但可能需要更多的训练迭代才能收敛。 该参数直接影响训练速度和模型稳定性之间的平衡。
对训练动态的影响 选择合适的学习率至关重要。 例如，将学习率设置得太高（例如，对于复杂模型为 0.1）可能会导致损失振荡或发散，因为更新会超过损失函数的最小值。 相反，非常低的比率（例如 1e-6）可能会导致非常缓慢的进展，尤其是在模型陷入损失地形的平坦区域时。 实际的默认值（例如，Adam 为 0.001 或 SGD 为 0.01）通常用作起点。 在使用卷积网络的图像分类任务中，不匹配的学习率可能会导致欠拟合（太小）或不稳定的训练（太大）。 像 Adam 这样的自适应优化器会动态调整每个参数的有效学习率，从而减轻一些手动调整，但不能消除选择初始比率的需要。
设置学习率的策略 开发人员通常使用网格或随机搜索来试验学习率。 诸如学习率调度（例如，每 10 个 epoch 将速率降低一半）之类的技术有助于平衡速度和精度。 例如，在训练 Transformer 模型时，从较高的速率（例如 1e-4）开始并在一段时间内衰减它可以改善收敛。 像“学习率查找器”（由 fast.ai 推广）这样的工具通过在测试运行期间逐步提高速率并观察损失趋势来自动执行此操作。 此外，在界限之间振荡的循环学习率可以逃脱局部最小值。 在 PyTorch 或 TensorFlow 等框架中，学习率在优化器中显式设置（例如，torch.optim.Adam(lr=0.001)）。 正确的调整仍然至关重要，因为即使是高级优化器也依赖于精心选择的初始速率才能有效地执行。