深度学习已经成为视觉任务的常用工具，但它也带来了一些实际的挑战。首先，深度学习模型需要大量的标记数据才能表现良好。 例如，训练像 YOLO 或 Faster R-CNN 这样的对象检测系统通常需要数千张带注释的图像，这可能既昂贵又耗时。 在医学影像中，专家注释成本很高，这成为一个重要的障碍。 即使数据可用，数据集中的稀有对象等不平衡也会导致模型在代表性不足的情况下表现不佳。 如果肿瘤训练数据中的代表性不足，那么经过训练用于检测肿瘤的模型可能会遗漏细微的病例。
另一个主要问题是计算成本。训练视觉模型通常需要强大的 GPU 或 TPU，这对于小型团队或个人开发者来说可能无法访问。例如，从头开始训练像 StyleGAN 这样的高分辨率图像生成器可能需要在多个 GPU 上花费数周时间，在云计算上花费数千美元。此外，在实际应用中部署这些模型可能很棘手。在服务器上运行良好的模型可能会因内存或延迟限制而在移动设备上运行困难。开发人员通常必须使用量化或修剪等技术来压缩模型，这会降低准确性。例如，将 ResNet 模型转换为在智能手机相机上高效运行可能会降低其 5-10% 的精度，从而影响可靠性。
最后，用于视觉任务的深度学习模型可能很脆弱且难以解释。它们可能会在与训练数据略有不同的输入上无法预测地失败——这个问题被称为“分布偏移”。在晴朗天气下训练的自动驾驶汽车的视觉系统在雾中可能会遇到困难，即使人类可以适应。对抗性攻击（其中微小的像素级变化会欺骗模型（例如，使停车标志无法识别））也突出了这种脆弱性。此外，调试模型错误很困难，因为内部决策过程是不透明的。如果面部识别系统错误地分类了一个人，那么如果没有像显着性图这样的专用工具（只能提供有限的洞察力），几乎不可能追踪原因。这种缺乏透明度在监控或医疗保健等关键应用中引发了伦理和安全问题。