激活函数是一种应用于神经网络中神经元输出的数学运算。它的主要作用是确定一个神经元是否应该“激活”或将信息传递到下一层以及传递的强度。激活函数接受神经元输入的加权和（加上偏置项）并应用非线性变换。这种非线性至关重要，因为它允许神经网络对数据中的复杂模式进行建模。如果没有激活函数，即使是深度网络也会崩溃成线性模型，无法处理图像识别或语言处理等任务。常见的例子包括 sigmoid 函数、ReLU（修正线性单元）和 tanh（双曲正切）。
激活函数是必不可少的，因为它们将非线性引入神经网络。如果每个神经元都使用线性函数（例如 ( f(x) = x )），堆叠层在数学上等同于单个线性层，从而严重限制了网络的学习能力。例如，一个简单的 XOR 问题不能用线性模型解决，但可以用非线性激活函数解决。此外，激活函数控制输出的范围。例如，sigmoid 将值压缩在 0 和 1 之间，使其对基于概率的任务（如二元分类）非常有用。ReLU，定义为 ( f(x) = \max(0, x) )，由于其计算效率和缓解 sigmoid 或 tanh 的梯度消失问题的能力，在隐藏层中很受欢迎。
激活函数的选择取决于问题和层类型。ReLU 广泛用于隐藏层，因为它训练速度更快并且避免饱和（梯度变得太小）。然而，如果输入为负数（永久输出零），ReLU 会导致“死神经元”，从而导致诸如 Leaky ReLU 或 Parametric ReLU 之类的变体。对于输出层，softmax 在分类任务中很常见，用于产生概率分布，而线性激活适合回归。Tanh，输出 -1 和 1 之间的值，有时在循环网络的隐藏层中是首选。开发人员必须尝试这些选项，平衡计算成本、梯度行为以及模型架构的特定需求。