卷积神经网络（CNN）面临着一些挑战，包括计算效率低下、处理空间层次结构的局限性以及在不同数据上泛化能力不足。这些问题源于它们的架构设计以及对输入数据的特定假设。虽然 CNN 在图像识别等任务中仍然功能强大，但了解其局限性有助于开发者选择合适的解决方案或替代方案。
一个主要问题是计算效率低下，特别是对于深度网络。由于卷积操作和参数数量庞大，CNN 需要大量的处理能力。例如，像 VGG-16 这样的模型使用超过 1.38 亿个参数，导致内存占用高，并且在没有 GPU 等专用硬件的情况下训练时间很慢。即使在实时应用（例如视频流中的目标检测）中，推理成本也很高。此外，卷积操作通常会冗余地处理输入数据中的重叠区域（例如，在图像上滑动滤波器），这会浪费资源。可分离卷积或模型剪枝等技术有助于缓解这个问题，但它们增加了复杂性并可能降低准确性。
CNN 还存在空间层次结构的局限性。虽然池化层减少了特征图尺寸并增加了平移不变性，但它们会丢弃精确的空间信息。这使得需要精细定位的任务，例如医学图像分割或卫星图像中的小目标检测，变得具有挑战性。例如，CNN 可能识别出 X 光片中的肿瘤，但无法勾勒出其精确边界。此外，固定大小的卷积核可能无法很好地适应不同尺度或方向的对象。如果模型没有学习旋转特征，从某个角度看的猫可能会被错误分类。特征金字塔网络（FPNs）等架构通过结合多尺度特征来解决这个问题，但这会增加模型的复杂性。
最后，CNN 通常需要大量的标记训练数据，并且在泛化方面存在困难。在标记数据集较小的领域（例如罕见疾病诊断）中，CNN 可能会过拟合。即使进行数据增强，合成的变化（例如旋转图像）也可能无法涵盖现实世界的边缘情况。迁移学习通过在 ImageNet 等数据集上进行预训练来提供帮助，但领域不匹配的问题仍然存在：在白天照片上训练的模型可能在夜间图像上失败。此外，CNN 对对抗性攻击可能过于敏感——即使是人类无法察觉的微小输入扰动，例如噪声模式，也可能导致误分类。这限制了它们在自动驾驶等安全关键应用中的可靠性。虽然正则化技术（例如 dropout）或对抗性训练可以提高鲁棒性，但它们并不能完全消除这些漏洞。开发者在生产系统中部署 CNN 时必须权衡这些利弊。