DeepSeek 的 R1 模型采用专家混合 (MoE) 架构，总参数量为 1450 亿，其中在推理过程中每个 token 激活的参数约为 28 亿。这种设计通过将网络划分为处理不同类型任务的专业化“专家”来平衡计算效率和模型容量。与密集模型（对每个输入都使用所有参数）不同，MoE 系统选择性地激活专家的子集，从而在保持高性能的同时降低计算负载。例如，在 16 位专家的配置中，每个 token 可能通过两个专家进行路由，与总大小相比，保持较低的活动参数数量。
参数数量直接影响模型的性能和资源需求。1450 亿的总参数量使得 R1 能够存储大量的知识并处理复杂的模式，适用于代码生成、推理和多语言理解等任务。然而，MoE 结构确保了推理成本的可控性。对于开发者来说，这意味着该模型可以扩展以处理各种应用——例如自动化代码评审或分析大型数据集——而无需像密集型 1450 亿参数模型那样高的硬件要求。训练这样的模型仍然需要大量资源，但可以通过动态专家路由和分布式计算等技术来优化推理。
从实际应用的角度来看，部署 R1 的开发者应考虑硬件兼容性和延迟。每个 token 激活 28 亿参数意味着该模型可以在 VRAM 充足的 GPU 上高效运行，例如 NVIDIA A100 或 H100 实例，尽管内存带宽仍可能限制吞吐量。相比之下，像 GPT-3（1750 亿参数）这样的密集模型对每个 token 都使用所有参数，这使得 R1 的 MoE 方法对于实时应用更高效。DeepSeek 可能已经优化了专家路由逻辑以最大程度地减少开销，但团队仍应根据其特定工作负载对性能进行基准测试。这种架构体现了大型语言模型的一个趋势：优先考虑更智能的参数利用，而不是仅仅追求巨大的规模。