DeepSeek 采用一系列数据增强技术来提高模型的泛化能力和鲁棒性，主要侧重于基于文本的转换、特定于任务的修改以及合成数据生成。 这些方法旨在使训练数据多样化、减少过度拟合，并帮助模型处理现实世界中的输入变化。 这些技术根据特定任务和数据集特征动态应用，确保不同应用中的灵活性。
一种核心方法涉及**基于文本的转换**，它在保留语义意义的同时修改现有数据。 例如，DeepSeek 可能会使用同义词替换（将单词替换为上下文相似的替代词）、随机标记删除或插入（以模拟拼写错误或遗漏）以及句子洗牌（重新排序子句以测试结构理解）。 在命名实体识别等实体丰富的任务中，诸如名称或位置之类的实体可以系统地替换为同类型的其他实体（例如，将“伦敦”替换为“巴黎”）。 对于需要句法鲁棒性的任务，使用诸如反向翻译（将文本翻译成另一种语言然后再翻译回原始语言）之类的技术来生成释义后的句子。 这些方法使模型能够接触到不同的措辞，而不会改变核心含义。
另一层涉及**特定于任务的增强**，其中的技术是为问题域量身定制的。 在问答系统中，这可能包括从现有段落生成合成问题或屏蔽关键术语以迫使模型从上下文中推断答案。 对于对话系统，增强可能涉及注入诸如中断或主题转移之类的噪声以模仿真实对话。 在低资源场景中，DeepSeek 可能会使用基于规则的模板或利用预训练的语言模型来生成合成训练示例。 例如，可以训练摘要模型既处理原始文档，也处理删除非必要句子的版本，从而教会模型区分关键内容。
最后，DeepSeek 将这些方法与**动态应用策略**相结合。 该系统可能会根据数据集大小或模型性能调整增强强度，而不是应用一组固定的转换。 例如，在较小的数据集中，会优先使用反向翻译或实体交换等更激进的技术，而较大的数据集可能会使用更轻微的扰动。 此外，增强通常在训练期间以概率方式应用——每个批次都有原始数据和增强数据的随机组合——以防止过度依赖修改后的示例。 这种平衡的方法确保模型保持对干净和嘈杂输入的适应性，同时保持特定于任务的准确性。