计算机视觉的最新进展侧重于提高模型效率、扩展应用程序和解决现实世界中的挑战。三个关键进展领域包括视觉 Transformer 的兴起、自监督学习的进步以及计算机视觉与边缘设备的集成。这些发展解决了准确性、可扩展性和部署实用性方面的长期限制。
视觉 Transformer (ViT) 已成为卷积神经网络 (CNN) 的一个有竞争力的替代方案。通过将自注意力机制（最初在 NLP 中流行）应用于图像块，ViT（如 Google 的 ViT 和 Facebook 的 DeiT）在分类和对象检测等任务上取得了最先进的结果。例如，ViT-Base 通过将图像分成 16x16 的图块来处理图像，将每个图块视为一个token，并应用 Transformer 层来建模全局关系。混合架构（例如 ConvNeXt）结合了 CNN 和 Transformer，以利用两者的优势，从而提高小数据集上的性能。这些模型越来越多地用于医学成像和卫星分析，在这些领域中，捕获高分辨率图像中的长距离依赖关系至关重要。
自监督学习 (SSL) 降低了对标记数据的依赖性。对比学习（例如，MoCo、SimCLR）等技术训练模型来区分同一图像的增强视图，从而无需手动注释即可进行特征学习。 Facebook 的 DINO 证明，经过 SSL 训练的模型可以在没有明确监督的情况下分割图像中的对象。在实践中，这有利于自动驾驶汽车等领域，在这些领域中，标记激光雷达或摄像头数据的成本很高。研究人员还将 SSL 与多模态数据相结合——例如，OpenAI 的 CLIP 将图像和文本嵌入对齐，从而可以通过将图像与“一只狗的照片”等文本提示匹配来实现零样本分类。
通过模型优化，在边缘设备上部署计算机视觉变得更加可行。量化（将数值精度从 32 位降低到 8 位）和剪枝（删除冗余神经元）等技术可以缩小模型，而不会造成明显的精度损失。 Google 的 MobileNetV3 和 EfficientNet-Lite 专为移动 CPU 而设计，可在人脸检测等任务上实现实时推理。 TensorFlow Lite 和 ONNX Runtime 等框架简化了部署，而 NVIDIA Jetson 设备等硬件使嵌入式系统能够运行复杂的模型。例如，无人机在搜索和救援行动期间使用优化的 YOLOv8 模型进行实时对象跟踪。这些改进使计算机视觉可以在低功耗、对延迟敏感的环境（如工厂自动化或 AR 眼镜）中访问。