学习率是一个超参数，它决定了机器学习模型在训练期间调整其参数的幅度。当模型从数据中学习时，它使用梯度下降等优化算法来最小化误差。学习率控制着算法朝着最小误差迈进的步长大小。如果学习率太高，模型可能会越过最优解，导致训练不稳定或发散。如果学习率太低，模型可能会学习得太慢，需要更多时间或计算资源才能收敛。平衡这个值至关重要，因为它直接影响训练效率和最终性能。
例如，考虑使用随机梯度下降 (SGD) 训练神经网络。假设学习率设置为 0.1。在每次更新期间，模型计算损失相对于其参数的梯度，并将其乘以 0.1 来调整权重。像 0.5 这样高的学习率可能会导致权重在最优值附近震荡而无法稳定，而像 0.001 这样低的学习率则可能导致在数百个 epoch 后进展甚微。Adam 或 RMSProp 等自适应优化器通过自动调整每个参数的学习率来解决这个问题，通常从 0.001 等默认值开始。然而，即使使用自适应方法，初始学习率的选择仍然很重要——从一个选择不当的值开始仍然会减慢收敛速度。
选择合适的学习率通常需要实验。开发人员可能会使用学习率调度等技术，这些技术会随着时间的推移降低学习率（例如，从 0.1 开始，每个 epoch 衰减 10%）。另一种方法是学习率查找器：以逐渐增加的学习率训练模型，以找到损失下降最快的值。例如，在 PyTorch 中，像 torch.optim.lr_scheduler 这样的库提供了用于实现调度内置工具。此外，预训练阶段（如 Transformer 模型中的预热期）以较低的学习率开始，以稳定早期更新，然后再逐渐增加。最终，理想的学习率取决于模型架构、数据集大小和任务复杂度等因素，因此系统性测试对于调优至关重要。