模型开源只是上半场:DeepInfer 把「单位算力能服务多少人」摊到阳光下

  created  by  Sherlock {{tag}}
创建于 2026年10月23日 11:06:11 最后修改于 2026年10月23日 11:06:11

过去两年,开源大模型叙事有个习惯性落点:权重一出,社区欢呼,评测榜刷新,然后讨论就停在「能不能下得来」。

真去把模型接到生产流量里的人,心里清楚另一半战场从来不在 Hugging Face 的下载箭头上,它在推理引擎、缓存命中、调度抖动,以及一张卡一小时到底能换回多少有效 Token。

DeepSeek 把内部大规模推理框架 DeepInfer,连同对齐官方 API 处理逻辑的 deepseek-recipe 一并放开,等于把「上半场的模型」推进到「下半场的服务栈」。


更关键的是,它不只扔了一堆代码,还把线上量级摊开:单集群日吞吐到百万亿 Token 量级、首字时延数百毫秒、吐字速度两百多 Token 每秒、输入缓存命中率冲到九成以上。

你尽可以对这些数字保持工程怀疑,任何厂商披露都该被复现实验再校准,但方向已经很难假装看不见:模型能力上限看训练,单价看推理工程。

一、为什么「会跑 Demo」突然不够用了


图:Prefill 非缓存输入吞吐 vs 延迟(GitHub DeepInfer 官方基准)

图:Prefill 非缓存输入吞吐 vs 延迟(GitHub DeepInfer 官方基准)


企业采购会议上,常见对白仍是:「你们模型怎么样?有没有对标某某闭源?」工程师私下改口:「我们卡够不够?上下文一长,KV 会不会把显存吃穿?多轮 Agent 带着工具结果反复进来,预填充是不是每次都在重算?」

这话不矫情。Agent 场景把推理从「一问一答」改成「长前缀 + 工具往返 + 历史堆积」。同一段系统提示、同一份工具 schema、同一截会话摘要,可能在十几轮里反复出现。

若引擎不会复用,账单会按「装作第一次见面」计价;若引擎会复用,单位任务成本可以掉一个数量级。DeepInfer 披露的高缓存命中,真正刺痛的是:许多团队还在用「聊天机器人时代」的服务思维,去扛「代理时代」的流量形态。


再看硬件现实。国内落地经常要同时回答两道题:英伟达路线怎么把吞吐打满;国产加速器路线怎么把同一套模型服务跑稳。

DeepInfer 明确兼容 SM100 与昇腾 950,不止是公关修辞里的「展望」,已经把跨硬件推理实现写进可下载仓库。对私有化与行业云来说,这比再发一个更大参数的权重更接近「能不能上线」。

二、开源的不是神话,是一张诚实的边界清单


图:国内财经报道对 DeepInfer 开源的封面配图(腾讯新闻/一财,来源页面配图)

图:国内财经报道对 DeepInfer 开源的封面配图(腾讯新闻/一财,来源页面配图)


与其读通稿,不如先读官方仓库。

DeepInfer 把自己定位为支撑大规模生产的高性能推理框架,并列出已支持特性:优化算子与运行时、Attention DP / MoE EP、DSpark 与置信度调度验证、SWA bounded replay、异步调度、批不变推理、结构化输出等。

同时,它也写明完整在线服务仍缺的三块:KV cache 体系、Prefill/Decode 分离的服务化拼装、数据并行副本间的负载均衡。


「能给你什么 / 不假装给你什么」写清楚,可信度反而更高。社区里太多「一键企业级」仓库,把在线系统最难的状态与调度藏进黑盒;DeepInfer 选择把引擎核心摊开,把服务拼图留给集成方。

对企业架构师,对企业架构师,可以直接看成两件事:

  1. 你可以加速「算」,内核、并行、推测解码、预填充重放,这些决定单请求与单集群效率。
  2. 你仍必须自建「伺」,会话状态、缓存一致性、弹性扩缩、故障转移,这些决定 SLA。


deepseek-recipe 的价值则偏「协议层」。Chat Completions、Responses、Messages,再加上思考内容与工具调用的统一处理,听起来像胶水,实则是迁移成本的主战场。


很多团队卡在「模型换了,编排层全改」。协议对齐,是在降低「换引擎」时的组织摩擦,而不只是降低「换权重」时的磁盘摩擦。

三、三个数字,对应三种产品决策


图:Decode 输出吞吐 vs 每用户生成速度(GitHub DeepInfer 官方基准)

图:Decode 输出吞吐 vs 每用户生成速度(GitHub DeepInfer 官方基准)

把披露指标翻成产品语言,比复述数字有用。


吞吐与时延,决定你敢不敢把 Agent 放进同步路径。
首字四百毫秒、吐字两百多 Token 每秒,对客服旁路、编程助手、内部运营助手,意味着「人还在线等」。

若你的应用必须人在环,引擎的帕累托曲线(官方 README 里 Prefill / Decode 两张图)更像容量规划表,而不是学术装饰。

缓存命中,决定 Agent 毛利。
九成以上的输入缓存命中,本质上是在说:历史上下文的计算结果被当成可复用资产。Agent 越爱带长上下文,这项资产越值钱。


反过来,若你的应用把时间戳、用户私货、随机 ID 塞进前缀最前面,命中率会自己塌掉,那是应用侧的自伤,不是引擎失灵。

每卡每小时收入口径,决定扩容会议怎么开。
「按谷价折算每卡时收入」这类表述,争议空间很大,但它逼出一个健康问题:算力预算该不该继续只按「训练卡时」审批?

推理侧若能量化单位卡产出,财务才会允许产品把 Agent 从试点扩到默认路径。


四、对国产开源生态的真实含义


这几年国内开源模型并不缺「能看」的权重,缺的是「能养」的工程闭环:从训练报告,到推理框架,到 API 兼容,到硬件适配,到可复现基准。

DeepInfer 把链条往前推了一格,不是替代 vLLM / SGLang / TensorRT-LLM 的生态叙事,而是证明头部模型厂愿意把生产经验以 Apache 许可放出,并承认自己站在这些开源系统的肩膀上。

对企业选型,我建议把评估问卷改掉三道题:


  • 别只问「参数量多大」,问「在目标硬件上,非缓存 Prefill 与 Decode 的帕累托是否可复现」。
  • 别只问「支不支持工具调用」,问「工具结果反复进入后,缓存命中是否仍稳定」。
  • 别只问「能不能私有化」,问「缺 KV 与调度组件时,你们自建工期与风险谁签字」。


对开发者,也有个反直觉提醒:开源推理框架降低的是复制成本,不是理解成本。你仍要读清 YOCO/SWA 截断、MTP 变长验证、批不变开关对采样的影响。把环境变量当魔法开关乱拧,线上会出现「更慢却更贵」的喜剧。

五、立场:把竞争从「谁更大」扳回「谁更便宜地稳定」


立场说在前面:下一阶段国内开源竞争力的主战场,是单位有效 Token 的成本与稳定性,而不是再多一个榜面分数。

DeepInfer 这类动作之所以值得写,是因为它把讨论从「模型爱国叙事」拉回可核对的工程对象:命中率、时延、硬件适配、协议对齐、以及公开承认的缺口。


这也是对应用团队的提醒。若你的 Agent 产品仍把预算全砸在「换更强模型」,却舍不得做前缀治理、工具结果外置、会话分段与缓存键设计,那么再强的推理框架也救不了你,你只是在用更快的引擎,重复计算本不该重复的前缀。

与其喊口号,不如先放一个可执行的三十天动作清单:

  1. 选一个真实 Agent 任务,固定工具集与系统提示,分别测「冷前缀 / 热前缀」成本差。
  2. 把会变的用户态移出可缓存前缀,把稳态指令与 schema 钉死在前部。
  3. 若走国产加速器,把复现基准当成门禁:没有帕累托曲线,就不要进生产扩容会。
  4. 明确自建 KV 与调度的负责人;把「开源了引擎」误读成「开源了云」,会在季度中翻车。


模型权重解决「会不会」;推理框架解决「贵不贵、稳不稳」。DeepInfer 把后半句写进了开源时间表。真正的胜负,仍取决于你有没有把后半句写进自己的架构评审表。


六、复现门槛:没有帕累托曲线,就不要谈「对齐官方」


开源推理框架最容易被误读成「下载即生产」。DeepInfer 的官方基准图把 Prefill 与 Decode 拆开画帕累托,测试卡数也写清楚:Prefill 侧四卡量级、Decode 侧可到数十卡同域扩展。

可以拆成两件事:

其一,复现实验必须声明硬件拓扑。把别人在 SM100 上的曲线,直接当成自家混合集群的承诺,是采购会上的常见翻车点。昇腾路径还要额外核验 CANN 版本、编译开关与算子覆盖;


缺一项,吞吐数字就会从「可对外说」变成「仅内部热闹」。

其二,批不变与确定性采样是评测可信度的基础设施。Agent 评测若在不同 batch 组合下分数乱跳,你会不知道该骂模型、骂解码,还是骂自己的并发拼装。框架提供批不变开关,是为了让回归测试有资格叫回归,不是为了学术洁癖。

我也建议把「结构化输出」当成门禁,而不只是演示能力:JSON schema / 正则 / EBNF 约束失败率,应与时延一起进周报。


Agent 真正怕的是工具参数偶发漂移,文采不足反而排后面,引擎层能兜住的格式错误,就别留给应用层去重试十次。

七、和本地部署账本的对照:显存算术会打脸口号


社区同期还在算另一本更土的账:本地到底能跑多大。权重体积、KV 随上下文线性膨胀、量化位宽、引擎实现,四张账任何一张算错,都会把「27B 也能上 Agent」变成「上下文一开就 OOM」。

这与 DeepInfer 的叙事表面不同,一个讲集群吞吐,一个讲单机边界,内里却是同一条纪律:先算资源,再谈智能。


对企业私有化,我更建议并行看三张表:

  1. 集群表:目标 QPS、首字时延、缓存命中、每卡有效 Token。
  2. 单机表:最大上下文、KV 占用、量化后的质量掉点。
  3. 协议表:工具调用、思考字段、多模态输入是否与现网编排兼容。


缺任何一张,选型会退化成参数竞赛。DeepInfer 的贡献,是把第一张表的部分答案公开了;第二、第三张表,仍然要你自己补作业。

八、Agent 产品经理该拿走的三句原话


技术新闻要落成产品决策,别只会转发链接:


  1. 「缓存命中率」是毛利指标,不是运维彩蛋。 你要在需求文档里规定:哪些字段允许进入可缓存前缀,谁有权改系统提示。
  2. 「跨硬件推理」是供应链指标。 它决定你能不能在单一供应商波动时保持服务 Continuity,而不是决定你能不能在朋友圈宣布信创。
  3. 「开源缺 KV / 调度」是项目排期指标。 看见缺口却假装没有,等价于把风险隐藏进上线日。


若这三句无法在评审会上被追问到负责人姓名,这份开源对你公司就只是热搜,不是能力。

九、反例:四种把好框架用贵的方式


  • 把用户昵称、精确时间戳、随机 trace id 塞进提示词最前部,然后抱怨命中率低。
  • 工具 schema 每周重排字段顺序,导致前缀哈希稳定失效。
  • 用长工具结果直接回灌模型,既打爆上下文,又拖垮预填充;正确做法是外置对象存储,只回传句柄与摘要。
  • 在评测环境关闭推测解码与批调度优化,却用生产环境的延迟承诺对外签约。


这些反例不新鲜;推理框架一升级,它们又会换身衣服回来。框架越强,反例造成的浪费越大,因为你误以为「已经很快了」,于是更敢把垃圾前缀送进集群。

十、结语:把「能下载」升级成「能记账」


DeepInfer 这类开源值得明确赞许:它逼行业把讨论从下载量,扳回单位算力服务能力。赞许之外还有要求:社区复现要出报告,云厂商接入要出对照,企业自建要出缺口清单。谁都别再用「开源了」三个字结束对话。


对写 Agent 的人,最终检验标准很具体,同一任务,冷启动与热前缀的成本差你能不能画出来;画不出来,说明你还在用聊天机器人的成本模型,运行代理时代的工作负载。那不是模型不给你机会,是工程账本还没打开。

十一、和 API 生态的衔接:recipe 比又一个 SDK 更值钱


很多团队的痛不在「会不会调用某个 Python 包」,而在「同一套编排要同时伺候官方在线 API、自建集群、以及某朵云的兼容网关」。

deepseek-recipe 把请求编码、输出、思考内容、工具调用对齐到主流协议,本质上是在降低多后端并存期的切换税。


切换税表现得很具体:

  • 工具调用字段名差一个层级,代理循环就要打补丁。
  • 思考内容有的要剥离、有的要展示、有的要计费另算。
  • 流式事件顺序一变,前端打字机与后端审计对不齐。


所以评估 DeepInfer 时,别只跑离线 offline_inference.py。要用你们生产里真实的工具 schema 走一遍编码—解码往返,看看应用层改了多少行。改得越少,开源对你越「真」;

改得越多,说明你买到的是引擎,不是生态。


十二、给架构评审的反对意见与回应


评审会上通常会出现三种反对,不妨预先写好回应。

反对一:「厂商披露的命中率在我们这儿复现不了。」
回应:命中率先是前缀工程指标。先审查提示词稳定性与路由亲和,再质疑引擎。把「不可复现」直接等同「数字造假」,往往会错过自己应用层的病灶。

反对二:「既然还缺 KV 与调度,开源意义有限。」
回应:引擎层与服务层分离,正好让平台组与模型组的边界清晰。你可以继续用现有网关,只替换执行器;也可以把缺口当成自建平台的里程碑。有限不是无用,是诚实。


反对三:「我们等统一方案,避免选错。」
回应:统一方案不会从天而降。先用单一关键路径做对照实验:旧引擎 vs DeepInfer,同模型同提示同工具。没有对照数据的等待,叫拖延,不叫稳健。

十三、写给业务负责人的一段话


你不需要读懂 MoE 的专家并行。你只需要每次听到「我们要上 Agent」时追问四句:冷热前缀成本差多少?目标硬件上的时延曲线在哪?工具协议谁保证不漂?缺的在线组件谁负责、何时完成?

问得出来,预算才不会变成「买更强模型」的单选题;问不出来,任何开源新闻都只是幻灯片 decor。


十四、一个可对外同步的结论句


周报如果只留一行,就写这句:开源权重解决供给,开源推理框架解决供给的单价与口径;DeepInfer 把后者从黑盒经验推进到可下载、可复现、可挑刺的工程对象。

剩下的事,是把挑刺结果写进你们自己的容量模型,而不是写进又一轮参数崇拜。

工程社区要做的,是把公开数字逼成可复现实验,而不是替任何一家厂商背书:同模型、同提示、同工具、同硬件拓扑,冷热前缀分列记账。谁能稳定交出那张表,谁就有资格谈「推理降本」;交不出表,降本就只是形容词。


延伸阅读:
- 一财有看投|DeepInfer 开源与线上指标梳理
- DeepInfer 官方仓库与基准图
- 腾讯新闻|模型之外,推理框架也开源了
- 机悟|本地部署显存与 KV 四张账

评论区
评论
{{comment.creator}}
{{comment.createTime}} {{comment.index}}楼
评论

模型开源只是上半场:DeepInfer 把「单位算力能服务多少人」摊到阳光下

模型开源只是上半场:DeepInfer 把「单位算力能服务多少人」摊到阳光下

过去两年,开源大模型叙事有个习惯性落点:权重一出,社区欢呼,评测榜刷新,然后讨论就停在「能不能下得来」。

真去把模型接到生产流量里的人,心里清楚另一半战场从来不在 Hugging Face 的下载箭头上,它在推理引擎、缓存命中、调度抖动,以及一张卡一小时到底能换回多少有效 Token。

DeepSeek 把内部大规模推理框架 DeepInfer,连同对齐官方 API 处理逻辑的 deepseek-recipe 一并放开,等于把「上半场的模型」推进到「下半场的服务栈」。


更关键的是,它不只扔了一堆代码,还把线上量级摊开:单集群日吞吐到百万亿 Token 量级、首字时延数百毫秒、吐字速度两百多 Token 每秒、输入缓存命中率冲到九成以上。

你尽可以对这些数字保持工程怀疑,任何厂商披露都该被复现实验再校准,但方向已经很难假装看不见:模型能力上限看训练,单价看推理工程。

一、为什么「会跑 Demo」突然不够用了


图:Prefill 非缓存输入吞吐 vs 延迟(GitHub DeepInfer 官方基准)

图:Prefill 非缓存输入吞吐 vs 延迟(GitHub DeepInfer 官方基准)


企业采购会议上,常见对白仍是:「你们模型怎么样?有没有对标某某闭源?」工程师私下改口:「我们卡够不够?上下文一长,KV 会不会把显存吃穿?多轮 Agent 带着工具结果反复进来,预填充是不是每次都在重算?」

这话不矫情。Agent 场景把推理从「一问一答」改成「长前缀 + 工具往返 + 历史堆积」。同一段系统提示、同一份工具 schema、同一截会话摘要,可能在十几轮里反复出现。

若引擎不会复用,账单会按「装作第一次见面」计价;若引擎会复用,单位任务成本可以掉一个数量级。DeepInfer 披露的高缓存命中,真正刺痛的是:许多团队还在用「聊天机器人时代」的服务思维,去扛「代理时代」的流量形态。


再看硬件现实。国内落地经常要同时回答两道题:英伟达路线怎么把吞吐打满;国产加速器路线怎么把同一套模型服务跑稳。

DeepInfer 明确兼容 SM100 与昇腾 950,不止是公关修辞里的「展望」,已经把跨硬件推理实现写进可下载仓库。对私有化与行业云来说,这比再发一个更大参数的权重更接近「能不能上线」。

二、开源的不是神话,是一张诚实的边界清单


图:国内财经报道对 DeepInfer 开源的封面配图(腾讯新闻/一财,来源页面配图)

图:国内财经报道对 DeepInfer 开源的封面配图(腾讯新闻/一财,来源页面配图)


与其读通稿,不如先读官方仓库。

DeepInfer 把自己定位为支撑大规模生产的高性能推理框架,并列出已支持特性:优化算子与运行时、Attention DP / MoE EP、DSpark 与置信度调度验证、SWA bounded replay、异步调度、批不变推理、结构化输出等。

同时,它也写明完整在线服务仍缺的三块:KV cache 体系、Prefill/Decode 分离的服务化拼装、数据并行副本间的负载均衡。


「能给你什么 / 不假装给你什么」写清楚,可信度反而更高。社区里太多「一键企业级」仓库,把在线系统最难的状态与调度藏进黑盒;DeepInfer 选择把引擎核心摊开,把服务拼图留给集成方。

对企业架构师,对企业架构师,可以直接看成两件事:

  1. 你可以加速「算」,内核、并行、推测解码、预填充重放,这些决定单请求与单集群效率。
  2. 你仍必须自建「伺」,会话状态、缓存一致性、弹性扩缩、故障转移,这些决定 SLA。


deepseek-recipe 的价值则偏「协议层」。Chat Completions、Responses、Messages,再加上思考内容与工具调用的统一处理,听起来像胶水,实则是迁移成本的主战场。


很多团队卡在「模型换了,编排层全改」。协议对齐,是在降低「换引擎」时的组织摩擦,而不只是降低「换权重」时的磁盘摩擦。

三、三个数字,对应三种产品决策


图:Decode 输出吞吐 vs 每用户生成速度(GitHub DeepInfer 官方基准)

图:Decode 输出吞吐 vs 每用户生成速度(GitHub DeepInfer 官方基准)

把披露指标翻成产品语言,比复述数字有用。


吞吐与时延,决定你敢不敢把 Agent 放进同步路径。
首字四百毫秒、吐字两百多 Token 每秒,对客服旁路、编程助手、内部运营助手,意味着「人还在线等」。

若你的应用必须人在环,引擎的帕累托曲线(官方 README 里 Prefill / Decode 两张图)更像容量规划表,而不是学术装饰。

缓存命中,决定 Agent 毛利。
九成以上的输入缓存命中,本质上是在说:历史上下文的计算结果被当成可复用资产。Agent 越爱带长上下文,这项资产越值钱。


反过来,若你的应用把时间戳、用户私货、随机 ID 塞进前缀最前面,命中率会自己塌掉,那是应用侧的自伤,不是引擎失灵。

每卡每小时收入口径,决定扩容会议怎么开。
「按谷价折算每卡时收入」这类表述,争议空间很大,但它逼出一个健康问题:算力预算该不该继续只按「训练卡时」审批?

推理侧若能量化单位卡产出,财务才会允许产品把 Agent 从试点扩到默认路径。


四、对国产开源生态的真实含义


这几年国内开源模型并不缺「能看」的权重,缺的是「能养」的工程闭环:从训练报告,到推理框架,到 API 兼容,到硬件适配,到可复现基准。

DeepInfer 把链条往前推了一格,不是替代 vLLM / SGLang / TensorRT-LLM 的生态叙事,而是证明头部模型厂愿意把生产经验以 Apache 许可放出,并承认自己站在这些开源系统的肩膀上。

对企业选型,我建议把评估问卷改掉三道题:



对开发者,也有个反直觉提醒:开源推理框架降低的是复制成本,不是理解成本。你仍要读清 YOCO/SWA 截断、MTP 变长验证、批不变开关对采样的影响。把环境变量当魔法开关乱拧,线上会出现「更慢却更贵」的喜剧。

五、立场:把竞争从「谁更大」扳回「谁更便宜地稳定」


立场说在前面:下一阶段国内开源竞争力的主战场,是单位有效 Token 的成本与稳定性,而不是再多一个榜面分数。

DeepInfer 这类动作之所以值得写,是因为它把讨论从「模型爱国叙事」拉回可核对的工程对象:命中率、时延、硬件适配、协议对齐、以及公开承认的缺口。


这也是对应用团队的提醒。若你的 Agent 产品仍把预算全砸在「换更强模型」,却舍不得做前缀治理、工具结果外置、会话分段与缓存键设计,那么再强的推理框架也救不了你,你只是在用更快的引擎,重复计算本不该重复的前缀。

与其喊口号,不如先放一个可执行的三十天动作清单:

  1. 选一个真实 Agent 任务,固定工具集与系统提示,分别测「冷前缀 / 热前缀」成本差。
  2. 把会变的用户态移出可缓存前缀,把稳态指令与 schema 钉死在前部。
  3. 若走国产加速器,把复现基准当成门禁:没有帕累托曲线,就不要进生产扩容会。
  4. 明确自建 KV 与调度的负责人;把「开源了引擎」误读成「开源了云」,会在季度中翻车。


模型权重解决「会不会」;推理框架解决「贵不贵、稳不稳」。DeepInfer 把后半句写进了开源时间表。真正的胜负,仍取决于你有没有把后半句写进自己的架构评审表。


六、复现门槛:没有帕累托曲线,就不要谈「对齐官方」


开源推理框架最容易被误读成「下载即生产」。DeepInfer 的官方基准图把 Prefill 与 Decode 拆开画帕累托,测试卡数也写清楚:Prefill 侧四卡量级、Decode 侧可到数十卡同域扩展。

可以拆成两件事:

其一,复现实验必须声明硬件拓扑。把别人在 SM100 上的曲线,直接当成自家混合集群的承诺,是采购会上的常见翻车点。昇腾路径还要额外核验 CANN 版本、编译开关与算子覆盖;


缺一项,吞吐数字就会从「可对外说」变成「仅内部热闹」。

其二,批不变与确定性采样是评测可信度的基础设施。Agent 评测若在不同 batch 组合下分数乱跳,你会不知道该骂模型、骂解码,还是骂自己的并发拼装。框架提供批不变开关,是为了让回归测试有资格叫回归,不是为了学术洁癖。

我也建议把「结构化输出」当成门禁,而不只是演示能力:JSON schema / 正则 / EBNF 约束失败率,应与时延一起进周报。


Agent 真正怕的是工具参数偶发漂移,文采不足反而排后面,引擎层能兜住的格式错误,就别留给应用层去重试十次。

七、和本地部署账本的对照:显存算术会打脸口号


社区同期还在算另一本更土的账:本地到底能跑多大。权重体积、KV 随上下文线性膨胀、量化位宽、引擎实现,四张账任何一张算错,都会把「27B 也能上 Agent」变成「上下文一开就 OOM」。

这与 DeepInfer 的叙事表面不同,一个讲集群吞吐,一个讲单机边界,内里却是同一条纪律:先算资源,再谈智能。


对企业私有化,我更建议并行看三张表:

  1. 集群表:目标 QPS、首字时延、缓存命中、每卡有效 Token。
  2. 单机表:最大上下文、KV 占用、量化后的质量掉点。
  3. 协议表:工具调用、思考字段、多模态输入是否与现网编排兼容。


缺任何一张,选型会退化成参数竞赛。DeepInfer 的贡献,是把第一张表的部分答案公开了;第二、第三张表,仍然要你自己补作业。

八、Agent 产品经理该拿走的三句原话


技术新闻要落成产品决策,别只会转发链接:


  1. 「缓存命中率」是毛利指标,不是运维彩蛋。 你要在需求文档里规定:哪些字段允许进入可缓存前缀,谁有权改系统提示。
  2. 「跨硬件推理」是供应链指标。 它决定你能不能在单一供应商波动时保持服务 Continuity,而不是决定你能不能在朋友圈宣布信创。
  3. 「开源缺 KV / 调度」是项目排期指标。 看见缺口却假装没有,等价于把风险隐藏进上线日。


若这三句无法在评审会上被追问到负责人姓名,这份开源对你公司就只是热搜,不是能力。

九、反例:四种把好框架用贵的方式



这些反例不新鲜;推理框架一升级,它们又会换身衣服回来。框架越强,反例造成的浪费越大,因为你误以为「已经很快了」,于是更敢把垃圾前缀送进集群。

十、结语:把「能下载」升级成「能记账」


DeepInfer 这类开源值得明确赞许:它逼行业把讨论从下载量,扳回单位算力服务能力。赞许之外还有要求:社区复现要出报告,云厂商接入要出对照,企业自建要出缺口清单。谁都别再用「开源了」三个字结束对话。


对写 Agent 的人,最终检验标准很具体,同一任务,冷启动与热前缀的成本差你能不能画出来;画不出来,说明你还在用聊天机器人的成本模型,运行代理时代的工作负载。那不是模型不给你机会,是工程账本还没打开。

十一、和 API 生态的衔接:recipe 比又一个 SDK 更值钱


很多团队的痛不在「会不会调用某个 Python 包」,而在「同一套编排要同时伺候官方在线 API、自建集群、以及某朵云的兼容网关」。

deepseek-recipe 把请求编码、输出、思考内容、工具调用对齐到主流协议,本质上是在降低多后端并存期的切换税。


切换税表现得很具体:


所以评估 DeepInfer 时,别只跑离线 offline_inference.py。要用你们生产里真实的工具 schema 走一遍编码—解码往返,看看应用层改了多少行。改得越少,开源对你越「真」;

改得越多,说明你买到的是引擎,不是生态。


十二、给架构评审的反对意见与回应


评审会上通常会出现三种反对,不妨预先写好回应。

反对一:「厂商披露的命中率在我们这儿复现不了。」
回应:命中率先是前缀工程指标。先审查提示词稳定性与路由亲和,再质疑引擎。把「不可复现」直接等同「数字造假」,往往会错过自己应用层的病灶。

反对二:「既然还缺 KV 与调度,开源意义有限。」
回应:引擎层与服务层分离,正好让平台组与模型组的边界清晰。你可以继续用现有网关,只替换执行器;也可以把缺口当成自建平台的里程碑。有限不是无用,是诚实。


反对三:「我们等统一方案,避免选错。」
回应:统一方案不会从天而降。先用单一关键路径做对照实验:旧引擎 vs DeepInfer,同模型同提示同工具。没有对照数据的等待,叫拖延,不叫稳健。

十三、写给业务负责人的一段话


你不需要读懂 MoE 的专家并行。你只需要每次听到「我们要上 Agent」时追问四句:冷热前缀成本差多少?目标硬件上的时延曲线在哪?工具协议谁保证不漂?缺的在线组件谁负责、何时完成?

问得出来,预算才不会变成「买更强模型」的单选题;问不出来,任何开源新闻都只是幻灯片 decor。


十四、一个可对外同步的结论句


周报如果只留一行,就写这句:开源权重解决供给,开源推理框架解决供给的单价与口径;DeepInfer 把后者从黑盒经验推进到可下载、可复现、可挑刺的工程对象。

剩下的事,是把挑刺结果写进你们自己的容量模型,而不是写进又一轮参数崇拜。

工程社区要做的,是把公开数字逼成可复现实验,而不是替任何一家厂商背书:同模型、同提示、同工具、同硬件拓扑,冷热前缀分列记账。谁能稳定交出那张表,谁就有资格谈「推理降本」;交不出表,降本就只是形容词。


延伸阅读:
- 一财有看投|DeepInfer 开源与线上指标梳理
- DeepInfer 官方仓库与基准图
- 腾讯新闻|模型之外,推理框架也开源了
- 机悟|本地部署显存与 KV 四张账


模型开源只是上半场:DeepInfer 把「单位算力能服务多少人」摊到阳光下2026-10-23Sherlock

{{commentTitle}}

评论   ctrl+Enter 发送评论