增强通过增加训练数据的多样性和数量来改进视觉Transformer (ViT)，这有助于模型更好地泛化到未见过的示例。ViT 通过将图像分割成小块并应用自注意力机制来捕获这些小块之间的关系来处理图像。 然而，如果没有足够的数据变化，ViT 可能会过度拟合训练集中的特定模式。 旋转、翻转、颜色抖动或随机裁剪等增强技术通过创建输入图像的修改版本来人为地扩展数据集。 例如，将猫的图像旋转 30 度会迫使 ViT 从新的角度识别该对象，从而减少对固定空间假设的依赖。 这对于 ViT 尤其重要，因为 ViT 缺乏卷积神经网络 (CNN) 的内置平移等变性，并且更多地依赖于直接从数据中学习鲁棒的特征。
另一个关键优势是，增强可以帮助 ViT 处理有限或不平衡的数据集。 ViT 通常需要大量数据才能表现良好，但现实世界的场景通常涉及较小的标记数据集。 MixUp（混合两张图像）或 CutMix（用另一张图像的一个小块替换一张图像的区域）等技术会生成合成训练样本，这些样本结合了来自多个类别的特征。 例如，将狗的耳朵叠加到猫的图像上会鼓励 ViT 关注局部特征而不是全局上下文。 增强还可以减轻位置偏差：由于 ViT 在固定网格中处理小块，因此随机裁剪或调整大小可确保模型不会假设对象始终出现在中心。 这种灵活性对于诸如目标检测之类的任务至关重要，在目标检测中，对象可以出现在框架中的任何位置。
最后，增强增强了自注意力机制优先考虑小块之间有意义关系的能力。 通过引入诸如遮挡（例如，屏蔽小块）或噪声之类的变化，ViT 学习关注不太明显但具有区分性的特征。 例如，如果汽车的轮子被随机遮罩遮挡，则模型可能会更多地依赖其形状或周围环境来进行正确的预测。 增强还可以根据特定领域的需求进行定制：医学成像可能会使用弹性变形来模拟组织变化，而卫星图像可能会应用亮度调整来适应不同的光照条件。 这些调整可确保 ViT 的注意力图与现实世界的变异性保持一致，从而使模型在各种应用中更加鲁棒和适应性更强。