DeepSeek 模型的推理成本取决于模型大小、硬件效率和部署优化等因素。 较小的模型（例如 7B 参数版本）专为较低的计算要求而设计，与较大的模型（例如 67B 参数变体）相比，运行成本更低。 成本随模型复杂性而扩展：较大的模型需要更多的 GPU/TPU 内存和计算时间，从而增加了费用。 例如，在 A100 GPU 上运行 7B 模型可能花费大约每百万个 token 0.50 美元，而 67B 模型可能因更高的资源使用率而超过每百万个 token 3 美元。 硬件选择也很重要——使用更新的 GPU（如 H100）可以提高速度，但会提高每小时费率，而旧硬件可以降低前期成本，但可能会增加延迟。
DeepSeek 采用架构优化来平衡性能和成本。 他们的混合专家 (MoE) 模型（例如 DeepSeek-MoE）每次推理仅激活一部分神经网络“专家”，从而减少计算量。 例如，一个 16B MoE 模型可能每次查询使用 2-4 个专家，与相同大小的密集模型相比，可减少 40% 的 GPU 内存使用量。 诸如 4 位或 8 位精度之类的量化技术通过缩小模型权重来进一步降低成本，从而使较小的模型能够在消费级 GPU 上运行。 量化为 4 位的 7B 模型可以在单个 24GB GPU 上运行，而无需多个高端卡，从而大幅降低基础设施费用。 这些优化使 DeepSeek 的模型可用于聊天机器人或文档分析等应用程序，而不会产生过高的成本。
开发人员可以通过框架优化和部署策略来降低推理成本。 DeepSeek 提供了诸如 vLLM 和 TensorRT-LLM 集成之类的工具，这些工具通过诸如连续批处理和内核融合之类的技术将吞吐量提高 2-4 倍。 例如，使用 vLLM 并行处理 100 个请求可能会将 A100 上每个 token 的延迟从 500 毫秒降低到 150 毫秒。 用于频繁查询的缓存机制和使用 spot 实例进行批量处理（例如，夜间数据分析）也有助于管理费用。 此外，DeepSeek 的 API 提供基于使用量的分层定价，持续吞吐量可享受折扣。 通过结合硬件选择、模型优化和高效的部署实践，开发人员可以定制推理成本，以适应从小规模原型到企业应用程序的预算。