激活函数是应用于神经网络中神经元输出的数学运算。它们的主要作用是确定神经元是否应该“激活”或将信息传递到下一层。如果没有激活函数，神经网络将只执行线性变换，从而限制了它们建模复杂模式的能力。通过引入非线性，激活函数使网络能够从具有复杂关系的数据中学习，例如图像、文本或传感器数据。它们是深度学习模型的基础组成部分，直接影响训练期间梯度的流动和模型的泛化能力。
常见的例子包括修正线性单元 (ReLU)、Sigmoid 和双曲正切 (tanh)。 ReLU 定义为 ( f(x) = \max(0, x) )，被广泛用于隐藏层，因为它在计算上效率高，并有助于缓解梯度消失问题。但是，如果输入始终为负，ReLU 可能会导致“死亡神经元”。 Sigmoid 函数 (( f(x) = \frac{1}{1 + e^{-x}} )) 将输入映射到 0 和 1 之间的范围，使其适用于二元分类。 Tanh (( f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} )) 输出 -1 和 1 之间的值，使数据居中，并且通常在隐藏层中比 Sigmoid 表现更好。对于多类分类，Softmax (( f(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}} )) 将输出标准化为跨类的概率。
在选择激活函数时，开发人员会考虑问题类型和层深度。像 Leaky ReLU 或 Parametric ReLU 这样的 ReLU 变体通过允许小的负输出来解决死亡神经元的问题。在输出层中，Sigmoid 或 Softmax 与概率解释对齐，而隐藏层通常使用 ReLU 以提高效率。实验是关键：选择会影响训练速度、梯度稳定性和模型准确性。例如，在深层网络中使用 Sigmoid 可能导致梯度消失，而 ReLU 的简单性通常使其成为一个安全的起点。理解这些权衡有助于针对特定任务优化模型架构。