跳跃连接，也称为残差连接，是一种神经网络设计技术，通过允许梯度在反向传播期间更有效地流动，从而帮助训练更深的模型。它们的工作原理是创建一个快捷路径，跳过一个或多个层，并将一个层的输入直接添加到其输出。这种加法运算确保即使主层没有学习到任何有用的东西，网络仍然可以传递原始输入，从而防止性能随着网络深度的增加而降低。 例如，在卷积神经网络 (CNN) 中，跳跃连接可能会获取卷积块的输入，通过该块传递它，然后在应用非线性激活之前将其添加到该块的输出。
跳跃连接的一个重要实践示例是 ResNet 架构，该架构普及了它们的使用。在 ResNet 中，每个残差块包含两个或三个卷积层，后跟批量归一化和 ReLU 激活。块的输入被添加到这些层的输出，从而创建一个“残差”路径。如果块中的层学习对输入进行小的调整（残差），则网络可以更有效地逼近复杂函数。例如，ResNet-34 使用 34 层，每隔几层进行跳跃连接，而更深层的变体（如 ResNet-101）堆叠了更多块。如果没有跳跃连接，训练如此深的网络通常会导致梯度消失，其中早期层的更新在反向传播期间变得微不足道。跳跃连接通过为梯度向后流动提供直接路径来缓解这种情况。
跳跃连接的优势超出了 CNN。它们广泛用于图像分割的 U-Net 等架构中，它们连接编码器和解码器层以保留空间细节。 跳跃连接也简化了优化：即使某些层的性能不佳，网络仍然可以依赖于跳跃路径的恒等映射。这使得模型更健壮且更易于训练。 例如，在基于 Transformer 的模型中，跳跃连接通常应用于注意力机制和前馈层周围，以稳定训练。 通过将这些快捷方式与批量归一化等技术相结合，开发人员可以构建更深入、更准确的模型，而不会牺牲训练稳定性。