卷积神经网络（CNN）已广泛应用于计算机视觉领域，但它们也存在显著的局限性。一个关键问题是它们在处理**空间不变性与层次关系**方面遇到的困难。CNN依赖于池化层和步进卷积来实现平移不变性，这有助于识别无论其位置如何的物体。然而，这个过程通常会丢弃精确的空间信息。例如，在医学图像分割等任务中，肿瘤的精确位置至关重要，池化可能会降低准确性。此外，CNN优先处理局部模式而非全局结构，这使得它们在物体具有复杂空间依赖性时效果较差。如果图像包含旋转或缩放版本的物体，CNN可能无法将其识别为同一类别，除非明确训练过此类变体。
另一个局限性是它们**无法捕捉长程依赖和全局上下文**。CNN通过局部感受野处理图像，这对于检测边缘或纹理效果很好，但在处理远距离区域之间的关系至关重要时会遇到困难。例如，在场景理解中，识别“船”可能靠近“水”需要分析整个图像，而不仅仅是局部块。虽然更深的CNN可以扩大感受野，但这种方法计算效率较低，并且仍然无法显式建模全局交互。Transformer凭借自注意力机制解决了这一问题，可以直接连接所有像素，但它们也有自己的权衡，例如更高的内存使用量。CNN在图像标注等任务中也面临挑战，这些任务需要理解超出局部特征的上下文。
最后，CNN**需要大量数据且计算密集**。它们需要大型标注数据集才能很好地泛化，这限制了它们在数据稀缺或标注成本高的领域（如医学影像或工业缺陷检测）的应用。虽然数据增强和迁移学习等技术可以缓解这一问题，但它们无法完全消除对大量初始数据的需求。此外，更深的架构（例如 ResNet-152）需要大量的计算资源，这使得它们不适用于边缘设备上的实时应用。模型剪枝或量化等优化可以减小模型大小，但通常会降低性能。例如，在智能手机上部署用于物体检测的CNN可能需要牺牲精度以满足延迟约束。这些局限性突显了对混合架构或替代模型的需求，这些模型需要在效率、上下文感知和数据需求之间取得平衡。