近日，DeepSeek宣布全新开源其大规模云服务推理框架DeepInfer及生产级编解码组件deepseek-recipe。DeepInfer框架具备高性能运算和深度优化推理引擎，支持分布式推理及多种高效功能，并可在英伟达和华为昇腾平台上运行。根据DeepSeek团队的介绍，基于该框架的DeepSeek V4.1 Flash实现了极高的单集群服务吞吐量，每天达到155万亿Tokens，相当于每卡每小时获得38美元（约253.81元人民币）的收入。换算下来，每张卡若满负荷运行24小时，每天将收入6091.38元，按一个月30天计算，月收入可达185711.4元。

同时，深度的token编解码组件deepseek-recipe支持主流大模型API协议与模型Tokens的编解码，确保第三方部署的API体验与官方一致。DeepSeek还在知乎发布技术报告，深入介绍了DeepSeek V4.1 Flash推理系统的架构和关键实现。

在技术报告中，重点勾勒了吞吐的实现方案，包括通过多专家并行和不同负载均衡策略来最大化资源利用。同时，优化了成本线，以减少重复预填充的开销，如长期保留KVCache和改进的SWA机制，确保在高效支持下降低成本压力。 千亿体育

针对延迟问题，报告也提供了多项优化措施，解耦资源分配以提高效率，包括编码器与解码器的分离部署和逐步优化各步骤的延迟表现。整体来看，DeepSeek的最新发展在推理效率与成本控制方面取得了显著进展，为AI技术的应用提供了强有力的支持和保障。