Dropout 通过在训练过程中引入随机性来防止神经网络中的过拟合，这迫使模型学习更强大和泛化的特征。在每次训练迭代期间，dropout 随机“丢弃”一层中的一部分神经元（例如，50%），方法是将它们的输出设置为零。这可以防止网络过度依赖特定的神经元或路径，从而有效地降低其记忆训练数据中的噪声或特性的能力。例如，如果一个层有 100 个神经元，并且 dropout 率为 0.5，则每次前向传递中大约有 50 个神经元被暂时停用。然后，网络必须适应使用剩余的活动神经元进行预测，从而鼓励冗余和弹性。
Dropout 引入的随机性还可以对抗共适应，即神经元变得过度依赖于特定连接的情况。如果没有 dropout，某些神经元可能只学会在其他特定神经元存在的情况下才激活，从而创建脆弱的模式，这些模式不能很好地泛化。Dropout 通过使任何神经元的存在或缺失不可预测来打破这些依赖关系。例如，在视觉模型中，一个神经元可能检测边缘，而另一个神经元检测纹理。如果 dropout 随机停用边缘检测器，则纹理检测器必须学习即使在缺少边缘信息时也能做出有意义的贡献。这迫使网络将其学习分散到更多特征上，从而降低了过度拟合数据中狭窄模式的风险。
实际上，dropout 作为神经网络中的一层实现，并且仅在训练期间应用。在测试时，所有神经元都保持活动状态，但它们的输出会按 dropout 率进行缩放，以保持一致的期望值。例如，如果在训练期间使用 0.2 的 dropout 率，则在推理期间每个神经元的输出乘以 0.8 (1 - 0.2)。开发人员可以通过在 Dense 层之后添加 Dropout(0.5) 层，在 TensorFlow 或 PyTorch 等框架中将 dropout 应用于密集层。这种简单性使其易于集成到现有架构中。通过平衡随机性和学习之间的权衡，dropout 充当正则化器，无需对权重施加显式惩罚（如 L1/L2 正则化）即可提高泛化能力。