机器学习中常用的优化器包括 Adam、RMSprop、SGD（随机梯度下降）、Adagrad 和 Adadelta。 这些算法在训练期间调整模型参数以最小化损失函数，每种算法都采用不同的方法来平衡速度和稳定性。 Adam 和 RMSprop 因其自适应学习率机制而被广泛采用，该机制自动调整每个参数的步长。 SGD 虽然更简单，但仍然是一个基线选项，通常通过动量或学习率调度来增强。 选择取决于数据集大小、模型架构以及对细粒度控制的需求等因素。
Adam（自适应矩估计）结合了 RMSprop 和基于动量的 SGD 的思想。 它通过计算梯度的一阶（平均值）和二阶（未中心化方差）矩的自适应估计来维持每个参数的学习率。 这使其对稀疏梯度具有鲁棒性，并且适用于具有嘈杂或复杂损失地形的问题。 RMSprop 的开发是为了解决 Adagrad 的学习率递减问题，它将学习率除以平方梯度的指数衰减平均值。 它适用于非平稳目标，例如循环神经网络 (RNN)。 具有动量的 SGD 通过在持续减少的方向上累积速度向量来加速收敛，而 vanilla SGD 应用与当前梯度成比例的更新。
开发人员通常选择 Adam 作为默认设置，因为它在图像分类和自然语言处理等任务中具有强大的经验性能。 TensorFlow 和 PyTorch 等框架使用推荐的超参数（例如，学习率 0.001）来实现它。 RMSprop 更适合 RNN 或训练稳定性至关重要的情况。 具有动量或学习率衰减的 SGD 仍然用于需要精确控制的场景中，例如微调预训练模型。 Adagrad 适用于稀疏数据（例如，NLP 嵌入），但可能需要仔细调整以避免早期收敛。 实验是关键：较小的网络可能使用 SGD 训练得更快，而复杂的模型通常受益于 Adam 的适应性。 始终监控训练曲线以检测振荡或停滞等问题，这可能表明需要切换优化器或调整超参数。