全连接层，通常也称为密集层，是神经网络中的一个基本构建块，其中该层中的每个神经元都与前一层中的每个神经元相连接。这意味着来自前一层的每个输入特征都乘以一个权重，与一个偏置项相加，然后通过一个激活函数产生一个输出。与卷积层或池化层不同，全连接层专注于局部模式或空间层次结构，它将所有输入视为独立的特征，从而能够对复杂的全局关系进行建模。例如，在图像分类中，在卷积层提取边缘或纹理之后，全连接层可以将这些特征组合起来以预测图像的类别。
全连接层通常用于神经网络的最后阶段，用于分类或回归等任务。例如，在用于识别手写数字（MNIST）的简单多层感知器（MLP）中，输入像素被展平为一个向量，并通过一个或多个密集层。每一层都通过应用权重和偏置来转换数据，然后是像ReLU或sigmoid这样的非线性激活。在卷积神经网络（CNN）中，全连接层通常出现在卷积层和池化层之后，以将空间特征图转换为类别概率。例如，用于图像识别的 CNN 可以通过展平将特征的 3D 张量（高度、宽度、通道）减少到 1D 向量，然后应用密集层将其映射到类别分数。
关于全连接层的一个关键考虑因素是其计算成本。 由于每个神经元都连接到所有输入，因此参数的数量随着层的大小而迅速增加。 具有 1,000 个输入和 500 个输出的层需要 1,000×500 = 500,000 个权重加上 500 个偏置，总计 500,500 个参数。 这可能导致过拟合，尤其是在数据有限的情况下。 为了缓解这种情况，通常应用诸如 dropout（在训练期间随机停用神经元）或 L2 正则化（惩罚大权重）之类的技术。 此外，现代架构有时会用全局平均池化等替代方法代替密集层以减少参数。 尽管存在这些挑战，但全连接层对于需要灵活、高容量的特征交互建模的任务仍然至关重要。