深度学习中的剪枝是一种通过移除不必要的组件（如单个权重、神经元或整个层）来减小神经网络模型大小，同时保持其准确性的技术。其目标是创建一个更高效的模型，需要更少的计算能力和内存。这是通过识别和消除对预测贡献最小的网络部分来实现的。例如，全连接层中接近于零的权重可能会被剪枝，因为它们对输出影响很小。剪枝可以在训练期间或训练后应用，通常涉及迭代移除组件和微调模型以恢复损失的性能。
该过程通常从训练一个基线模型直到收敛开始。接下来，使用剪枝标准（例如权重的幅度或神经元的激活模式）来识别要移除的组件。例如，在非结构化剪枝中，低于特定阈值的单个权重可能会被设置为零，从而创建一个稀疏网络。在结构化剪枝中，可能会移除卷积层中的整个滤波器或密集层中的神经元，这会改变模型的架构。剪枝后，模型通常会在训练数据上进行微调，以弥补准确性损失。例如，一个 ResNet 模型可能会根据其在数据集上的平均激活值移除 30% 的卷积滤波器，然后重新训练几个周期以恢复性能。
从开发者的角度来看，剪枝提供了实际的好处，例如更快的推理速度和更小的内存占用，这对于在边缘设备上部署模型至关重要。像 TensorFlow 的模型优化工具包这样的工具通过自动化迭代剪枝计划来简化实现。例如，开发者可以对 TensorFlow 模型应用基于幅度的剪枝，在训练周期内逐步将稀疏度从 0% 提高到 50%，同时监测准确性。然而，也存在权衡：激进的剪枝可能会损害准确性，而非结构化剪枝可能需要硬件支持稀疏操作才能实现速度提升。通过平衡稀疏度目标和微调步骤，开发者可以创建适用于资源受限环境的紧凑模型，而不会损失太多性能。