DeepSeek 内部推理框架,开源了
这两个月大家的话题都在模型上。版本号、参数、榜单。
但有个东西比新模型更值得看一眼:DeepInfer。
它是 DeepSeek 大规模生产服务所依赖的高性能推理框架。这次开源的版本提供离线推理功能,同时带上了大规模服务所需要的核心特性。
先说清楚"推理框架"是什么
打个比方。
模型是菜谱。菜谱写得好,只说明这道菜有做出来的可能。
推理框架是厨房和流水线。它决定这道菜能不能一秒出十份、每份成本多少、会不会烧焦。
同样的菜谱,换一套流水线,成本能差好几倍。
所以这不是个纯技术细节。你在手机上问一句话,背后要烧多少钱,很大程度上由它决定。
便宜是算出来的,不是贴出来的
前面提过一组数:中国获取算力的成本,被认为可能比美国低近 10 倍。
很多人看到这个数字的第一反应是:那是不是在烧钱换份额?
不一定。
如果推理框架的效率够高,同样一批卡就能跑出更多请求,单位成本自然就降下来了。这是一个结构性的原因,跟"补贴"是两回事。
补贴会停,效率不会。
这也是为什么我一直觉得,判断一个工具值不值得长期用,要分清它的便宜是哪种便宜。
开源这件事,比发模型狠
发一个模型,是把菜做出来给你吃。
开源一个推理框架,是把厨房图纸给你。
区别在于:前者你还是只能去它那儿吃,后者你可以自己开一家。
而且这次给的不是能跑就行的玩具版本,是"大规模服务所需的核心特性"——也就是它自己在生产环境里用的那一套。
这意味着,一家公司如果想自己部署,不用再从头趟一遍坑。
那为什么愿意把底牌亮出来
有人会问:这么核心的东西,为什么开源?
因为推理框架本身不怎么赚钱。它赚钱的方式,是让更多人用这个模型,让这个模型变成别人的默认选项。
框架开源了,愿意用的人就多。人多了,后面卖服务、卖算力、卖企业方案才有基础。
开源出去的东西,本质上是个入口。
这也是为什么你会看到一批中国模型公司都在往开源上压——这件事说到底是抢位置,跟大方不大方没关系。
对普通用户意味着什么
不绕弯子:大概率你不会直接接触它。
你不会去拉一个仓库、配环境、跑推理。
但它间接影响你两件事。
一件是价格。当更多人能低成本自建,"只能跟官方买"这件事的溢价空间就小了。
另一件是判断依据。一个团队愿意把生产线的图纸公开,通常说明它对自己的工程能力有底气。这比任何发布会上的自我评价都可靠——吹牛不用成本,公开代码要。
两个容易想岔的地方
第一,开源不等于免费。
跑起来要卡、要电、要人。对个人来说,自己部署的成本很可能比直接买服务高得多。它的受益者是有规模的团队,不是个人用户。
第二,离线推理不等于能力缩水。
它说的是一种部署方式——不联网、在本地跑——不是功能上的削减。
最后
判断一个工具值不值得长期押注,我现在的标准是三件事:
它的成本是不是结构性的,它的能力是不是还在迭代,它愿不愿意把底牌亮出来。
前两条要时间验证。
第三条,现在就看得到。