学习率决定了深度学习模型在训练过程中调整参数的幅度。简单来说，学习率控制着优化器为了最小化损失函数而迈出的步长大小。如果学习率过高，模型可能会越过最优参数值，导致训练不稳定或无法收敛。如果学习率过低，模型可能学习得非常慢，陷入次优解，或者需要过多的计算资源。例如，对于像图像分类这样的复杂任务，使用 0.1 的学习率可能会导致损失剧烈波动；而使用像 0.00001 这样的学习率，即使在简单数据集上训练也可能需要数天。
学习率的选择也与其他训练动态相互作用。例如，像 Adam 或 RMSprop 这样的自适应优化器会自动为每个参数调整学习率，减少了手动调整的需要。然而，即使是这些方法，也需要设定一个初始学习率。常见的做法是为 Adam 设置一个默认值，例如 0.001，然后根据实验结果进行调整。相比之下，在使用传统的随机梯度下降 (SGD) 时，开发者通常会将一个较高的初始学习率（例如 0.1）与随时间衰减的学习率调度器结合使用。例如，在 CIFAR-10 数据集上训练 ResNet 模型时，从一个较高的学习率开始，并每 30 个 epoch 将其衰减 10 倍，有助于平衡速度和稳定性。
实际实现中涉及反复试验。开发者通常会测试一系列学习率（例如 0.1、0.01、0.001），并监控损失曲线。如果损失趋于平缓，降低学习率可能有助于进一步优化模型。如果损失震荡或发散，降低学习率是常见的解决方法。像学习率搜索器（在测试运行中逐步增加学习率）这样的工具可以帮助找到一个合适的起始点。例如，在 PyTorch 中，像 torch_lr_finder 这样的库可以自动化这个过程。最终，学习率是一个关键的超参数，它影响着训练效率和最终模型性能，需要针对数据集、模型架构和优化器进行仔细调整。