DeepSeek 模型的训练成本主要包括三个方面：计算资源、数据获取和处理以及人员专业知识。 这些因素取决于模型大小、训练持续时间和基础设施效率。 虽然 DeepSeek 的确切数字未公开披露，但类似大型语言模型 (LLM) 的行业基准为估算这些费用提供了一个框架。
最大的费用通常来自计算资源。 训练最先进的模型需要数千个 GPU（例如，NVIDIA A100 或 H100 集群）运行数周或数月。 例如，一个 1000 亿参数的模型可能消耗超过 1,000 petaflop/s 天的计算量，转换为数百万美元的云基础设施成本。 像 PyTorch 或 TensorFlow 这样的分布式训练框架增加了复杂性，需要专门的工程来优化 GPU 利用率并最大限度地减少通信开销。 用于冷却和为这些系统供电的能源消耗进一步增加了运营成本。 混合精度训练和模型并行等技术有助于降低费用，但需要额外的开发工作。
数据成本包括获取、清理和预处理。 用于 LLM 的高质量训练数据集通常涉及专有数据的许可费、网络抓取和过滤海量文本语料库。 对于在 1 万亿个 tokens 上训练的模型，存储和处理可能需要 PB 级的分布式存储（例如，Hadoop 或云对象存储）和使用 Apache Spark 等工具的预处理管道。 由于更严格的质量要求和有限的公开可用来源，特定领域的模型（例如，医疗或法律）会产生更高的数据成本。 DeepSeek 还可能投资于合成数据生成或人工注释以进行微调，这会增加费用。
人员成本包括机器学习工程师、数据工程师和基础设施专家的薪资。 典型的训练团队可能包括设计架构的研究人员、管理 GPU 集群的 DevOps 工程师和管理数据集的数据科学家。 在上下文中，为期六个月的训练周期可能涉及 10-20 名全职工程师，薪酬因地区和专业水平而异。 持续成本包括模型维护、超参数调整以及使用 LoRA 等技术进行高效微调的实验。 虽然开源工具降低了软件许可成本，但用于分布式训练或监控的自定义工具需要专门的工程时间，从而进一步增加了总体预算。