权重和偏置是神经网络中核心的可学习参数，使网络能够对数据中的复杂模式进行建模。权重决定了不同层神经元之间连接的强度。两个神经元之间的每个连接都有一个相关的权重，它会缩放从一个神经元到下一个神经元的输入信号。另一方面，偏置是添加到输入加权和的常数，然后再应用激活函数。 它们允许网络移动激活函数的输出，从而提供灵活性以适应不通过原点的数据。例如，在一个简单的神经元中，输出计算为 activation(weight * input + bias)，其中权重调整输入对输出的影响程度，偏置调整激活前的基线值。
在训练期间，权重和偏置会迭代调整以最小化预测误差。 网络从权重和偏置的随机初始值开始（例如，从正态分布中采样），并使用梯度下降等优化算法来更新它们。 例如，在回归任务中，神经元可能会学习到输入特征（如房屋大小）的权重为 2.5，偏置为 -10 可以有效地将输入映射到输出（如预测房价）。 当仅靠输入的加权和无法达到所需的输出时，偏置尤其重要。 例如，如果所有输入均为零，则偏置可确保神经元仍能产生非零输出，从而防止网络在训练期间“卡住”。 层中的每个神经元都有其自己的偏置，从而允许网络为不同的特征独立地对偏移进行建模。
神经网络的有效性在很大程度上取决于权重和偏置的调整程度。 权重初始化不良（例如，太大或太小）会减慢训练速度或导致数值不稳定，而偏置有助于控制激活函数的起始点。 例如，如果权重初始化为加权和始终为负，则在没有偏置的情况下使用 ReLU 激活可能会导致“死神经元”。 实际上，除非明确禁用，否则 TensorFlow 或 PyTorch 等框架会自动处理偏置项。 诸如 L2 正则化之类的正则化技术通常应用于权重（而非偏置），以通过惩罚较大的权重值来防止过度拟合。 了解权重和偏置对于调试模型至关重要——例如，如果网络无法学习，则检查偏置是否初始化为零（一种常见的默认值）可能会揭示模型如何适应数据的问题。