推理引擎是 AI 产业里最“隐形”却最关键的一层：它决定一个大模型能不能被便宜、快速、稳定地跑起来。10 月 20 日，DeepSeek 把自家一直在用的生产级推理引擎 DeepInfer 开源了，Apache 2.0 协议，GitHub 上线首日就收获数千 star。

DeepInfer 是什么

简单说，推理引擎负责三件事：把模型拆到多张卡上并行算、把用户的请求排队打包批量处理、把算出来的 token 又快又稳地吐回去。DeepInfer 首个版本只支持 DeepSeek-V4.1-Flash 这一个模型（默认检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017），且是离线推理。

技术栈上，DeepSeek 在 README 里写得很坦白：主要基于 vLLM 构建，同时借鉴了 SGLang 和 TensorRT-LLM。特性包括推测解码（先猜后验，提速的常用手段）、批量不变推理、确定性采样（同样的输入得到同样的输出，对复现实验很重要），以及 regex / JSON Schema / EBNF 结构化输出。

两个真正有分量的点

第一是硬件：同时支持英伟达 SM100（Blackwell，CUDA 13）和华为 Ascend 950（CANN 9.2）。这是华为 Ascend 第一次拿到来自前沿大模型厂商的生产级背书，意义超出 DeepSeek 自身——它证明国产算力已经可以跑进一线模型的生产管线。

第二是生产数据，DeepSeek 给得相当实在：单个集群每天服务 155 万亿 token，输入缓存命中率 96%，首 token 延迟约 400ms，吞吐 230 tokens/秒（代码场景 300）。不过 README 也明确说了它“没有的东西”：不含 KV 缓存系统、P/D 分离（prefill-decode 分离）、跨副本负载均衡。翻译一下：拿来就能跑，但想自建大规模服务，这三块坑还得自己填。

一个有意思的反转

2025 年 4 月，DeepSeek 还公开说过“不开源完整推理引擎”——理由是引擎和内部集群工具耦合太深，团队也没带宽维护。这次反转，一年半时间，态度来了个 180 度。发布时间点也耐人寻味：恰好在美国政府下令联邦机构移除 DeepSeek 模型之后一天。开源生产级引擎，既是对社区的示好，也是技术自信的展示：把吃饭的家伙拿出来，本身就是一种话语权。

要点解读

• Apache 2.0 允许商用，这对 Fireworks、Together、Groq 这类推理云是直接冲击：以前要花钱买的“跑得快”，现在可以自己搭了。推理服务的定价权正在从云厂商向开源社区转移。
• 对国内开发者，真正的红利是 Ascend 950 的支持。有了 DeepInfer，基于国产算力自建 DeepSeek 系模型的推理服务，第一次有了官方背书的路线。
• 但别急着 all in：缺失的 KV 缓存、P/D 分离、负载均衡，恰恰是生产环境最难的三件事。DeepInfer 适合作为起点和参考实现，大规模自建还需要补课。

（观点部分为本刊解读，仅供参考。性能数据为官方自报，实际以实测为准。）