梯度下降是一种优化算法，用于最小化函数，通常是机器学习中的损失或成本函数。它的工作原理是迭代调整模型的参数，以找到导致最低可能误差的值。核心思想是计算当前参数值处函数的梯度（斜率），然后沿梯度的相反方向更新参数，因为梯度指向上坡方向。通过重复这个过程，算法“下降”到函数的局部最小值。例如，在线性回归中，梯度下降调整直线的斜率和截距，以最小化预测值和实际值之间的差异。
梯度下降主要有三种变体：批量梯度下降、随机梯度下降和小批量梯度下降。批量梯度下降使用整个数据集计算梯度，这对于大型数据集来说计算成本很高，但提供稳定的收敛。随机梯度下降 (SGD) 每次迭代使用单个随机选择的数据点，这使得每次更新更快，但噪声更大，这有助于逃离局部最小值。小批量梯度下降通过使用数据的随机小集合来平衡效率和稳定性。例如，在包含数百万图像的数据集上训练神经网络可以使用小批量（例如，每次更新 64 个样本）来利用 GPU 并行性，同时避免内存限制。
实际实现需要注意学习率，它控制参数更新的大小。过高的学习率会导致超过最小值，而过低的学习率会减慢收敛速度。像学习率调度（逐渐降低学习率）或像 Adam 这样的自适应方法（它调整每个参数的学习率）等技术有助于解决这个问题。此外，像深度网络中梯度消失这样的挑战（由于梯度较小，早期层训练缓慢）可以通过使用像 ReLU 这样的激活函数或归一化层来缓解。开发人员经常使用像 TensorFlow 或 PyTorch 这样的库，它们处理自动微分和优化，从而可以专注于模型设计而不是手动梯度计算。