特征缩放是一种预处理步骤，用于标准化或归一化数据集中的输入特征的范围。在神经网络中，其主要作用是确保所有输入特征在训练期间做出相同的贡献，从而提高优化过程的稳定性和速度。 如果不进行缩放，数值范围较大的特征可能会在学习过程中占据主导地位，导致模型收敛缓慢或产生次优结果。 例如，如果一个特征的范围为 0 到 1，而另一个特征的范围为 0 到 10,000，则较大特征的梯度更新可能会掩盖较小特征的梯度更新，从而歪曲模型在训练期间的关注点。
特征缩放的一个主要好处是它对基于梯度的优化算法（如随机梯度下降 (SGD)）的影响。 当特征位于相似的尺度上时，损失景象会变得更平滑和更对称，从而使优化器能够有效地找到最小值。 例如，在预测房价的神经网络中，面积（例如 500–5,000）和卧室数量（例如 1–5）等特征将具有截然不同的尺度。 将这些特征缩放到一个公共范围（例如 0–1）可确保两个特征的权重更新保持平衡。 此外，sigmoid 或 tanh 等激活函数在输入太大时会饱和，它们可以从缩放后的特征中受益，从而使其保持在活动区域内，从而防止梯度消失。
虽然通常建议进行特征缩放，但其必要性可能会有所不同。 例如，具有内置归一化层（例如，批量归一化）的架构可能会减少对显式缩放的需求。 但是，预处理输入仍然是一个好习惯，因为它简化了初始学习阶段。 标准化（减去均值并除以标准差）或最小-最大缩放（将值映射到 0–1 范围）等方法被广泛使用。 在特征存在异常值的情况下，可能最好使用稳健的缩放技术（例如，使用中位数和四分位距）。 最终，特征缩放是一种低成本的步骤，通常可以加快收敛速度，更好地泛化，并在神经网络中实现更稳定的训练。