批归一化（BN）是一种技术，通过调整和缩放激活，使其在每个训练批次内具有零均值和单位方差，从而标准化神经网络层的输入。在自监督学习（SSL）中，模型通过创建代理任务（例如，预测图像旋转或对比增强视图）从未标记数据中学习，BN 通过减少内部协变量偏移（训练期间层输入分布的变化）来帮助稳定训练。 通过归一化激活，BN 允许模型使用更高的学习率并更快地收敛，这在 SSL 中至关重要，因为训练通常从嘈杂、非结构化数据开始。 例如，在像 SimCLR 这样的对比学习框架中，BN 应用于投影头（将嵌入映射到对比损失空间的最终层），以确保训练期间稳定的特征分布。
然而，在 SSL 中使用 BN 需要谨慎实现，以避免意外的捷径。 由于 BN 计算跨批次的统计信息，如果代理任务涉及区分同一批次内的样本，它可能会泄漏信息。 例如，在一些早期的 SSL 模型中，在投影头中使用 BN 不经意地允许模型利用批次级别的统计信息来解决任务，而不是学习有意义的特征。 这个问题在像 MoCo（动量对比）这样的框架中得到了解决，它避免在投影头中使用 BN，而是使用动量编码器——一个缓慢更新的网络，在不依赖批次统计信息的情况下维护一致的特征分布。 类似地，SimCLR 仅将 BN 应用于投影头，而不是骨干网络，以防止泄漏，同时仍然受益于归一化。
开发人员还应该考虑 SSL 架构中 BN 的替代方案。 例如，在批次大小较小或必须避免批次级别依赖关系的情况下，层归一化或组归一化可以替代 BN。 在适用于 SSL 的视觉 Transformer (ViT) 中，归一化层通常应用于注意力块之后，以稳定训练，而无需依赖于批次特定统计信息。 选择取决于 SSL 方法：对比方法可能会将 BN 限制于特定组件，而基于重建的方法（例如，掩码自动编码器）可以更自由地使用 BN，因为它们的任务不涉及跨样本比较。 经验性地测试这些选择——例如消融不同网络部分中的 BN——对于平衡 SSL 模型中的稳定性和避免捷径至关重要。