DeepSeek 的 R1 模型是一个基于 Transformer 的架构，专为效率和可扩展性而设计，并针对训练和推理进行了优化。像大多数现代大型语言模型一样，它依赖于 Transformer 的自注意力机制来处理序列数据，但它结合了特定的修改来提高性能。该模型使用混合专家 (MoE) 结构，其中网络在处理过程中动态地将输入路由到专门的子网络（“专家”）。例如，R1 可能会为每个 token 激活 8 个专家中的 2 个，从而降低计算成本，同时保持高容量。这种设计使其能够处理各种任务，而不会导致资源使用量成比例增加。基本架构可能包括预规范化（稳定训练）和旋转位置嵌入（更好地处理序列长度）等功能。
训练框架强调并行性和优化。为了管理模型的规模（可能跨越数千亿个参数），DeepSeek 可能采用张量并行（跨 GPU 拆分模型层）和流水线并行（将模型划分为阶段）等技术。注意力机制可能使用分组查询注意力 (GQA)，其中多个查询头共享一个键/值头，从而平衡内存效率和质量。例如，一个 64 头注意力层可以将查询分组为 4 个集群，每个集群访问共享的键/值投影。训练数据管道针对吞吐量进行了优化，使用动态批处理和优化的数据混洗等方法来有效处理大规模数据集。
对于推理，R1 包含优化以减少延迟和硬件需求。量化技术（例如 4 位权重存储）可缩小内存占用，而不会显着降低准确性。该模型可能使用内核融合（将矩阵乘法和激活函数等操作组合为单个 GPU 操作）来最大限度地减少开销。自定义 CUDA 内核可以加速 MoE 路由，避免条件逻辑造成的瓶颈。此外，投机解码（尽可能提前预测多个 token）等技术可以提高吞吐量。这些优化使 R1 能够部署在消费级 GPU 上，并使用 vLLM 或 Triton 等框架确保跨硬件的兼容性。该架构在 MoE 可扩展性、注意力优化和以推理为中心的调整之间的平衡使其适用于实际应用。