梯度消失问题发生在深度神经网络中，当反向传播期间计算的梯度在通过各层向后传播时变得非常小。这使得早期层（更靠近输入）的学习速度非常慢或完全停止更新，从而限制了网络有效训练的能力。这个问题出现的原因是梯度是使用链式法则计算的：如果激活函数或权重矩阵的导数一直很小，那么它们在各层之间重复相乘会导致梯度呈指数级缩小。例如，如果网络使用 sigmoid 激活函数（其导数最大值为 0.25），那么仅经过五层后，梯度可能会小到 (0.25^5 = 0.00098)，从而使早期层几乎静止。
这个问题在具有许多层或容易产生小导数的激活函数的网络中最为明显。例如，处理长序列的传统循环神经网络 (RNN) 经常遭受梯度消失的影响，因为相同的权重在时间步长上重复使用。这使得网络难以学习遥远事件之间的依赖关系。一个典型的例子是训练 RNN 来预测句子中的下一个单词，其中来自先前单词的上下文至关重要。如果梯度消失，模型无法调整早期层来捕获该上下文，从而导致性能不佳。类似地，在卷积网络中，没有跳跃连接的深度架构可能无法将有意义的更新传播到初始滤波器，从而导致早期层未得到充分利用。
为了解决梯度消失问题，已经开发了现代架构和技术。使用 ReLU（修正线性单元）等激活函数（对于正输入，其导数为 1）有助于维持梯度幅度。残差连接（例如，在 ResNet 中）允许梯度通过跳跃连接绕过各层，从而防止乘法衰减。像 He 或 Xavier 初始化这样的初始化策略可以缩放权重以避免饱和激活函数。此外，批量归一化可以标准化层输出，从而降低梯度崩溃的可能性。对于 RNN，像 LSTM 或 GRU 这样的门控架构使用乘法门来调节梯度流，从而实现更长期的记忆保留。这些解决方案共同通过保留跨层的梯度信号，使更深的网络能够有效地训练。