DeepSeek开源推理框架，最省钱的两块没开｜老高AI观察

老高AI观察 · 第34期｜2026 年 10 月 21 日

10 月 16 日，DeepSeek 在 GitHub 上线了一个叫 DeepInfer 的仓库，四天后放出配套的部署问答文档。名字朴素，身份不朴素：这是它线上服务正在跑的推理框架，撑着一个集群每天 155 万亿 Token 的吞吐。同一份文档里还顺手报了个数，按谷价折算，每张卡每小时收入 38 美元。

开源本身不稀奇。稀奇的是它把账单摊开的同时，把最省钱的两块留在了自己手里。

155 万亿 Token 的引擎开源了

仓库采用 Apache-2.0 许可，Python 写的，到 21 日已经攒下一万四千个星标。它只认一个模型，DeepSeek-V4.1-Flash，多一个都不认；硬件也只支持两套，英伟达 SM100 和华为昇腾 950。

开出来的部分不少：一组早就单独放过的算子库，注意力 FlashMLA、矩阵乘 DeepGEMM、专家通信 DeepEP；再加上注意力数据并行、专家并行与专家组负载均衡、投机验证、SWA 有界重放、异步调度和结构化输出。

没开的是三块：KV cache 管理系统、视觉编码器与预填充解码的分离部署，以及跨数据并行副本的负载均衡。官方说法很直接，这几块和内部基建绑得太紧，暂时不开放。这份部署问答文档把设计目标和实现讲得很细。站内 DeepInfer 推理框架 那页把并行度、硬件要求和许可列全了，仓库本体在 DeepInfer 官方仓库。官方致谢里还写明，它最早主要基于 vLLM 构建，也从 SGLang 和 TensorRT-LLM 取过经。

动作的先后顺序藏着信息

DeepSeek 今年开源是有节奏的。先把底层的算子和通信库一块块往外放；再往上给到引擎，也就是这次这套；再旁边补上接口层的 deepseek-recipe。

先给零件，再给装配线，最后给接口。这个顺序不是随手排的。零件谁都能拿去做自己的东西，装配线才会暴露整体设计，接口一旦对齐，第三方部署的行为就和官方一致——从下往上放，每一步都在扩大可用面，又都留着一层没交出去。

时间点也有讲究。V4.1 Flash 跑稳了，单集群做到每天 155 万亿 Token，才有底气把生产系统直接扔出来。此前写过的 DeepSeek 融资与国产算力那篇算过它的算力投入，这次公开单位收入，等于把成本与收入两头同时摆上桌。

省钱的不是芯片，是不重算

推理账单里最冤的一笔，是同一段前缀被反复计算。前面几百上千个 token 根本没变，可每次都要把注意力重算一遍。这套框架在这件事上做了两处文章。

一处是 SWA 有界重放。解码层要精确重建缓存，理论上得把最后 2560 个 token 在 20 个解码层里完整算一遍；实际做法只重算最后 128 个，省掉约 95％。代价是缓存变成近似的，换来的是这笔开销与上下文长度脱钩——上下文越长，省得越多。

另一处是缓存留得住。官方定的目标是 KV cache 保留超过 72 小时，实际智能体流量存 3 天、聊天流量存 7 天，底下压着约 100 PiB 的固态存储。聊天流量的长尾很重，所以哪怕只把保留期从 7 天砍到 3 天，命中率就要掉 0.5％ 到 1％。

所以便宜不是买卡买得便宜，是同一段前缀不用反复算。这套账对自建集群的人最有参考价值：卡的数量决定上限，命中率决定你实际花掉多少。

代码能拿走，规模拿不走

第二处省钱的地方是负载均衡，正好是没开源的那块。专家并行把不同专家摊在不同卡上，请求一不均匀，最慢的那张卡就决定整批的速度，其余卡干等着。

官方给的实测系数：预填充在两卡、四卡配置下是 1.045 和 1.074，解码在 64 卡上是 1.090。意思是最慢的卡比平均慢 4.5％ 到 9％，这段差距是纯空转。他们已经压到完美均衡离线基准的约 80％。

但那 80％ 买不来。它靠的是 64 卡到 128 卡一个超节点、跨机房每 8 张卡约 400 Gbps 的互联，还有能扛住长尾的存储。这些条件写进文档很容易，凑齐很难。硬件那头也一样，昇腾 950 要配 CANN 9.2，比从通用引擎硬改移植少走一段——昇腾份额超过英伟达那一次里提过这条线的进展。

代码能拿走，规模和基建拿不走。这大概就是他们敢开源的原因：真正的门槛不在算法里，在机房里。

谁的位置会被重新定价

普通用户这头短期什么都感觉不到。价格不会因为开源就立刻降，能改变接口报价的是成本结构，不是代码。真正会传过来的信号只有一个：哪天官方调价，或者推出更便宜的档位。

做 AI 工具生意的人，账要重算了。过去比的是谁的卡多、谁能拿到更便宜的算力；这套东西开出来以后，比的不再是谁的卡多，而是谁能把前缀缓存的命中率做上去、谁能让同一批卡少空转。

顺带说一句，DeepSeek V4.1 Flash 是这个框架唯一支持的模型，两家绑得很死。拿它当主力，等于把这个模型的迭代节奏也一起押上了。

这些数字都还没人独立复算

155 万亿 Token、38 美元、80％，这几个数全部来自官方，属于单方披露。

38 美元那个要看清口径：原文写的是谷价，也就是闲时价格，不是全天均价。拿它当「每卡每小时赚 38 美元」去推年收入，会把数放大好几倍。

那 80％ 也是在自家配置、自家流量下测出来的，换个模型形状、换批硬件，数字就会动。仓库上线才几天，还没人给出可以对照的结果。

「最省钱的两块没开」是我的读法。官方给的理由是这两块和内部基建耦合太紧，不是说它们藏着不肯给。两句话不冲突，但意思差得远。

接下来可以盯的三个信号

第一个，看仓库的 issue 区。有没有人按文档做出接近官方的数字，一两周内就会有答案。

第二个，看它补不补开源。官方说后续模型的推理代码会继续开在这个仓库里，KV cache 和负载均衡会不会跟上，是最硬的指标。

第三个，看价格。这套流程如果被更多人复刻，推理的单位成本会往下走，接口报价迟早跟着动。

这些判断都记在 老高AI观察 里，一期只讲一件事。

老高的看法

开源告诉你钱是怎么省的，但没告诉你省钱的那把钥匙长什么样。

追问问答：DeepInfer

依据与出处

• DeepInfer 代码仓库（GitHub，2026 年 10 月 16 日上线）
• 《DeepSeek V4.1 Flash Inference Deployment Q&A》（仓库 doc 目录，2026 年 10 月 20 日）
• DeepSeek-V4.1-Flash-1017 权重页（Hugging Face，MIT 许可）
• deepseek-recipe 代码仓库（GitHub，token 编解码组件）
• vLLM、SGLang、TensorRT-LLM 仓库 README 与许可证原文

老高，AI工具箱站长，更关心这些变化对普通人意味着什么。想第一时间知道哪些AI工具值得花时间——👉 免费加入AI工具箱交流群