神经网络中的损失函数是一种数学工具，用于衡量模型的预测与实际目标值的一致程度。它量化了预测输出与真实值之间的误差，提供了一个单一的数值，训练过程旨在最小化该数值。例如，在预测房价的回归任务中，损失函数可能会计算预测价格与实际售价之间的差距。常见的例子包括回归任务中的均方误差 (MSE) 和分类任务中的交叉熵损失。损失函数的选择直接影响模型的学习方式，因为它决定了优化过程优先处理预测误差的哪些方面。
在训练过程中，每次迭代都会使用一批数据计算损失函数。前向传递生成预测，然后使用损失函数将其与真实标签进行比较。生成的损失值用于反向传递，以计算梯度——表明应如何调整每个参数（如权重或偏差）以减少误差的偏导数。诸如随机梯度下降 (SGD) 之类的优化算法使用这些梯度来迭代更新模型的参数。例如，MSE 损失会对预测和目标之间的差异进行平方，从而对较大的误差施加比小误差更大的惩罚，从而鼓励模型优先纠正重大错误。某些损失函数还包括正则化项，例如 MSE 中的 L2 正则化，以通过阻止过度复杂的权重配置来防止过度拟合。
损失函数的选择取决于问题类型和所需的模型行为。对于分类任务，通常首选交叉熵损失，因为它能有效地处理概率，尤其是与 softmax 等激活函数配对时。相比之下，诸如对象检测之类的任务可能会使用诸如 Intersection over Union (IoU) 之类的专用损失函数，以更好地与评估指标对齐。开发人员还必须考虑实际的权衡——例如，将二进制交叉熵与 sigmoid 激活用于二进制分类可以避免诸如梯度消失之类的问题。在训练过程中监控损失有助于识别问题：停滞的损失可能表明学习率过低，而错误的损失值可能表明学习率过高或批量大小不足。针对任务定制损失函数或组合多个损失（例如，用于多任务学习）可以显着提高模型性能。