全连接层，也称为密集层，是一种神经网络层，其中每个神经元都连接到前一层中的每个神经元。 这意味着来自前一层的每个输入特征乘以一个权重，与一个偏置项相加，并通过一个激活函数来产生一个输出。 这些层通常用于神经网络的最后阶段，用于分类或回归等任务，在这些任务中，需要将所有学习到的特征组合成一个统一的预测。 例如，在图像分类中，全连接层可能会获取扁平化的像素值或卷积层提取的特征，并将它们映射到类概率。
全连接层的结构由其权重矩阵和偏置向量定义。 如果一个层有 (n) 个输入和 (m) 个输出，则权重矩阵的维度为 (n \times m)，偏置向量将有 (m) 个元素。 每个输出神经元计算所有输入的加权和，加上其偏置，并应用激活函数（如 ReLU 或 sigmoid）。 这种设计允许该层对特征之间的复杂关系进行建模，但也引入了大量的参数。 例如，一个具有 1,000 个输入和 500 个输出的全连接层需要 (1,000 \times 500 = 500,000) 个权重和 500 个偏置，这会使训练在计算上变得密集。
在实践中，全连接层通常与其他层类型（如卷积层或循环层）配对使用。 例如，在用于图像识别的卷积神经网络 (CNN) 中，卷积层检测边缘和纹理，而末尾的全连接层解释这些特征以预测图像类。 然而，它们的密集连接可能导致过度拟合，尤其是在数据有限的情况下。 像 dropout（在训练期间随机停用神经元）或 L2 正则化（惩罚大权重）这样的技术通常用于缓解这种情况。 尽管全连接层的计算成本很高，但它们在神经网络中仍然是一种主要成分，因为它们在组合全局信息方面具有灵活性。