微调期间使用的学习率计划通常遵循一个模式，该模式以相对较低的初始速率开始，在训练期间逐渐调整它，并且通常包括一个预热阶段。这种方法平衡了稳定性和适应性：较低的初始速率可防止对预训练模型的权重进行剧烈更改，而调整有助于模型有效地收敛。常见的计划包括线性衰减、余弦退火和基于步骤的衰减，通常与预热期结合使用。例如，线性衰减计划可能以 2e-5 这样的速率开始，在预热期间保持恒定，然后在训练结束时线性降低到零。这些选择取决于数据集大小、任务复杂性以及微调任务与模型的原始预训练有多相似等因素。
实现细节因框架而异，但像 PyTorch 和 TensorFlow 这样的库提供了内置工具。在 PyTorch 中，torch.optim.lr_scheduler.CosineAnnealingLR 应用一个余弦形状的速率，该速率在初始速率和最小值之间振荡，这有助于逃离局部最小值。 Hugging Face 的 Transformers 库通常默认使用带有 AdamW 优化器的线性衰减计划，将预热（例如，总步数的 10%）与稳定下降结合使用。例如，如果使用 100 步的预热训练 1,000 步，则学习率在前 100 步内从 0 增加到 2e-5，然后在剩余步骤内线性降低到 0。这平衡了早期探索（允许模型进行平缓调整）和后期细化（减慢更新速度以稳定训练）。
计划的选择取决于实际考虑。较小的数据集或与预训练目标密切相关的任务（例如，为类似领域改进文本分类器）通常适用于像线性衰减这样更简单的计划。 对于较大的数据集或不同的任务（例如，调整用于代码生成的语言模型），余弦退火或复合计划可能表现更好。 此外，非常大的模型（例如，GPT-3 或 T5-XXL）通常使用保守的速率（例如，1e-5 到 5e-5）和更长的预热时间，以避免破坏预训练的特征。 实验是关键：开发人员可能会从线性衰减 + 预热基线开始，如果收敛缓慢或不稳定，则测试替代方案。 监控训练期间的验证损失有助于确定是否需要调整计划——例如，如果损失过早飙升，则延长预热时间。