DeepSeek 通过结合已有的正则化技术、数据管理策略和架构决策来解决过拟合问题。当模型变得过于针对训练数据，失去泛化能力时，就会发生过拟合。 为了解决这个问题，DeepSeek 采用了 L1/L2 正则化、dropout 层和提前停止等方法。 例如，L2 正则化会在损失函数中增加一个与权重大小的平方成正比的惩罚项，以抑制过度复杂的模式。 Dropout 层在训练期间随机停用一定百分比的神经元（例如，0.5 的 dropout 率），迫使网络学习冗余表示。 提前停止会监控验证损失，并在性能达到稳定状态时停止训练，防止模型“记住”训练数据中的噪声。
数据处理起着关键作用。 DeepSeek 使用数据增强来人为地扩展训练数据集，从而减少对有限示例的依赖。 对于图像模型，这可能包括旋转、翻转或对比度调整。 在基于文本的模型中，同义词替换或句子改组等技术可以在保持含义的同时创建变体。 交叉验证是另一种关键策略：训练数据被分成多个折叠，并且模型在不同的子集上迭代地训练和验证。 这确保了模型在不同的数据样本中表现一致，而不是适应单个训练-测试分割。 例如，在最终训练之前，可以使用 5 折交叉验证方法来验证稳定性。
架构选择和训练协议进一步减轻了过拟合。 DeepSeek 通过平衡层数和神经元与问题的要求来优化模型复杂性。 如果验证指标表明存在过拟合，则可以简化不必要的深层网络。 在适用的情况下，会利用迁移学习——例如，在使用较小的自定义数据集进行微调之前，使用在 ImageNet 上预训练的权重来初始化视觉模型。 超参数调整（例如，调整学习率或批量大小）也有助于：较低的学习率与梯度裁剪相结合可以防止损害泛化的突然权重更新。 这些方法通常结合使用，例如在 transformer 层中使用 dropout 和 L2 正则化，从而创建多个“安全网”来防止过拟合，同时保持模型容量。