计算机视觉面临着几个主要的开放性问题，这些问题对研究人员和开发人员都提出了挑战。三个关键问题包括鲁棒性和泛化性、复杂任务的实时处理以及模型的可解释性。尽管深度学习和硬件取得了进步，但这些问题依然存在，需要新的方法来弥合研究与实际应用之间的差距。
一个重要的挑战是创建能够在真实世界条件下可靠泛化的模型。虽然模型在受控环境中表现出色，但它们经常在意外的变化（如光照变化、遮挡或对抗性攻击）下失败。例如，自动驾驶汽车的物体检测器可能会错误地将穿着不常见服装的行人分类，或者在暴雨下失效。诸如数据增强和领域自适应之类的技术有所帮助，但不能完全解决问题。在 ImageNet 等数据集上训练的模型也难以应对“长尾”场景——训练数据中不存在的罕见对象或边缘情况。这种限制凸显了需要更好的方法来处理多样化、不可预测的环境，而无需大量标记数据集。
另一个开放性问题是实现计算密集型任务的实时性能，尤其是在资源受限的设备上。高分辨率视频分析、3D 重建或视频理解任务（例如，动作识别）需要大量的处理能力。虽然像 YOLO 这样的架构优化了对象检测的速度，但像实例分割或多对象跟踪这样的复杂任务仍然面临延迟挑战。开发人员经常牺牲准确性来换取速度，例如使用像 MobileNet 这样的更轻量级的模型，这可能会错过精细的细节。像无人机或 AR 眼镜这样的边缘设备由于热限制和功率限制而加剧了这个问题。通过剪枝或量化来优化模型有所帮助，但存在破坏性能稳定性的风险，因此在高效算法设计方面仍有突破空间。
最后，可解释性仍然是一个关键障碍。深度学习模型通常表现为“黑盒”，使得诊断错误或在医疗成像等安全关键型应用中建立信任变得困难。例如，模型可能会正确地在 X 射线中检测到肿瘤，但原因却不正确，例如关注不相关的伪影。像 Grad-CAM 这样的工具通过突出显示有影响力的图像区域提供部分见解，但它们不能解释更高层次的推理。这种缺乏透明度使得调试变得复杂，并引发了伦理问题，尤其是在有偏见的系统（如面部识别工具）中，这些工具对某些人群的表现不佳。解决这个问题不仅需要技术改进，还需要将模型决策与人类可理解的逻辑对齐的框架。