谁是Agent时代的“硬通货”?
在agent时代,最贵的当属token。一些重度agent使用者,一个月用掉几亿token,账单小几万块钱也是常有的事。
开源方案:实现“龙虾自由”
现在,有开发者开源了一个本地方案,一台苹果笔记本就能部署。从此,用户实现了“龙虾自由”,跑再多任务,也无需为token支付一分钱。该方案使用的是DeeSeek V4 Falsh。几天前,antirez在GitHub上发布了项目ds4,这是专门为DeepSeek V4 Flash写的推理引擎,几千行C代码能让该模型在128G内存的苹果电脑上跑起来。开发者antirez本名Salvatore Sanfilippo,是意大利程序员,也是开源数据库Redis的原作者,Redis后来成为全球互联网基础设施里最常用的内存数据库之一。
免费的DeepSeek,利弊几何?
DeepSeek影响力大,吸引到了圈内顶流程序员,但这回它真的免费了。任何开发者都可用ds4把DeepSeek V4 Flash装进自己的MacBook Pro,本地跑代码、读上下文、做agent任务,无需给DeepSeek付1分钱。虽然DeepSeek V4 Flash本身开源,但FP16精度的原始模型要吃掉284G内存,显存需求高达160G,运行它至少得有两张英伟达A100 80GB、一条512GB DDR5 ECC内存,以及一个4TB NVMe SSD,总成本50万人民币。而现在,一台3万块钱的MacBook Pro就能跑。
为何选中DeepSeek V4 Flash?
antirez选中DeepSeek V4 Flash,是因为它最适合被“塞进本地电脑”。它有284B总参数,足够大;每次推理只激活13B参数,不像传统大模型那样沉重。它支持100万token上下文,适合编程助手这种长任务;同时KV cache压缩得足够狠,给本地内存和SSD留下了操作空间。DeepSeek V4 Flash刚好站在一个神奇的平衡点上,既大到值得折腾,又小到能被塞进苹果笔记本里。YC的CEO Garry Tan在X上转了这条消息,只打了一行字:正在下载……100万token上下文窗口,可用的编程助手能力,全在一台128GB的MacBook Pro上,太疯狂了。
ds4究竟是什么?
ds4不是一个模型,而是一台“专用发动机”。DeepSeek V4 Flash是车,苹果电脑是路,ds4负责把原本更适合跑在云端的大车,改到本地机器上能跑、能接API、还能被coding agent调用。过去大家用llama.cpp在自己电脑上跑大模型,它什么模型都能跑,但为了照顾所有模型,做了很多妥协,性能无法做到极致。antirez则专门伺候DeepSeek V4 Flash,把它优化到极限,他做了三件事。
三件优化之事
第一件事是不对称的2 - bit量化。DeepSeek V4 Flash的架构是MoE(Mixture of Experts),284B总参数里,每次推理只激活13B,这13B是路由挑出来的若干个专家子网络。就像一个工具箱里有284把工具,每次只拿出13把来用。这284B里面,有一大堆“备选专家”占了90%以上的空间,但它们不是每次都用,只是候补。antirez只对这批routed experts做激进的2 - bit量化,up和gate矩阵用IQ2_XXS,down矩阵用Q2_K,而模型里所有关键路径上的组件,包括shared experts、projections、routing网络,全部保持原始精度不动。也就是说,他把“候补专家”狠狠压缩,压到只剩原来1/4的大小,但核心组件保持原样,这是一种不对称的压缩策略,砍掉体积大头,保住质量命脉。
第二件事是把KV Cache搬到SSD上。DeepSeek V4 Flash支持100万token的上下文,这相当于能记住一整本小说。但这么长的上下文,AI工作时要频繁回头翻看前面的内容,为了让这个动作不慢到卡死,需要把内容暂存在“缓存”里。以前把缓存放在内存里,因为内存速度快,但128GB内存的MacBook Pro跑DeepSeek - V4 Flash时,光缓存就能把内存吃光,模型本身都没地方放了。所以antirez把缓存扔到硬盘(SSD)上。ds4把一部分KV状态做成可落盘、可恢复的缓存,让长提示词和agent反复续写时,不必每次从头处理。虽然硬盘比内存慢,但现代Mac SSD足够快,适合做KV缓存持久化和恢复,加上DeepSeek V4 Flash本身对缓存做过压缩,读写量不大,所以硬盘完全顶得住。结果是内存省出来了,100万token的超长对话能在一台MacBook上跑起来。不过128GB MacBook不能毫无压力地把100万token全部拉满,按照ds4自己的说明,2 - bit模型本身已经要占掉大约80GB级别的内存,真正日常使用时,100k到300k上下文会更现实一点。
第三件事是纯Metal原生路径。antirez把所有优化都押在苹果电脑的GPU上,专门为苹果芯片写了一套代码,让DeepSeek V4 Flash能在苹果电脑上跑得飞快。至于CPU,并不是这个项目的重点,README里也写得很直白,CPU模式目前还不稳定,甚至可能触发系统崩溃。antirez进一步表示,如果有人真想走这条路,后续大概还得靠社区来补救。在M3 Max 128GB的MacBook Pro上,实测速度是每秒能生成26个字左右,M3 Ultra 512GB的Mac Studio上能跑到每秒36个字,不算快,但写代码、调试这些日常工作完全够用。更有意思的是,antirez是独自一人通过GPT - 5.5完成的整个这个项目。
利好DeepSeek
根据外媒报道,DeepSeek目前正在寻求高达73.5亿美元的融资,梁文锋处在关键转折点,用商业叙事取代DeepSeek过往的技术叙事。投资人不仅看模型跑分、API调用量,更看生态位和不可替代性。一个海外知名开发大佬愿意为DeepSeek写专用引擎,说明它在海外有一定的生态地位。过去一年,中国开源模型的出海叙事里,主流衡量标准是benchmark,但有人愿意围绕模型做二次工程,才代表模型被认可了。antirez选了DeepSeek并花时间写专用推理引擎等,显然认为它值得,这变相等于一个有信誉的第三方在用自己的时间和名声给DeepSeek - V4背书。
国产模型出海有两条路,一条是API被调用,提供服务,别人付费使用,但客户可随时切换,要时刻对抗竞品;另一条是模型被改造,模型成为材料,会被嵌入到别人的工具链里,很难被换掉。比如某个开发者把ds4集成到自己的coding agent里,团队成员习惯了这套工具,公司代码库里到处都是基于DeepSeek本地推理的调用,此时要换成别的模型,成本太高,大概率不会换,这就是“被嵌入”的粘性。ds4把DeepSeek V4 Flash嵌进了Metal原生本地推理这个场景,截至发稿,Hugging Face上antirez那个deepseek - v4 - gguf仓库,就已经有25000次下载了,每一次下载都意味着有人在自己的机器上跑起了DeepSeek,粘性逐渐建立起来。更值得注意的是连锁效应,Hacker News上有高赞评论提出,如果以后针对精确的GPU加模型组合构建超优化推理引擎会怎样?GPU越来越贵,抽象层去掉得越多,优化空间就越大。这个方向一旦被验证,意味着每一代有分量的开源模型发布时,都会有人跳出来给它做专属引擎、专属量化、专属agent接入。DeepSeek V4 Flash正好踩在了这个起点上,如果这套逻辑成立,后续每个V4 Flash的小版本迭代,都会天然地被嵌入到“一代模型配一个专用引擎”的循环里。梁文锋成了第一个吃螃蟹的人,DeepSeek也从一个模型品牌,变成海外开发者手里的基础设施材料,对于现阶段的DeepSeek来说,这种“升维”非常重要。
焉知非福
目前,DeepSeek的核心商业化路径是API,开发者调用,按token付费,薄利多销,这是它擅长的打法。但ds4这种项目,本质上是在“劝退”一部分API用户。一个独立开发者或小团队,过去用Claude Code或者DeepSeek的API跑coding agent,这是高token消耗场景,按token计费,一个重度agent的开发者每个月可能要花几千块钱的token费用。现在他有了另一个选项,花几万块钱买一台128GB的MacBook Pro,然后跑ds4,前期投入一次,之后推理没有边际成本,数据不出本地,延迟完全可控。外网论坛上有开发者分享,日常写代码、改bug等简单任务,全扔给本地的ds4跑,不花钱,只有遇到复杂的架构设计问题,才切换到云端的DeepSeek V4 - Pro或者Claude Opus。高token消耗的部分被本地化了,只有少量高价值调用还留在云端,相当于一分钱没有给到DeepSeek,却在绝大多数时间都在使用DeepSeek。
同时,antirez采用的量化方法有“坑”。即使是不对称量化策略,只压MoE专家不压关键路径,也不可能完全没有质量损失。外网论坛上已经有人发出测试结果,ds4本地量化版本在超2000行代码的文件里偶尔丢失变量作用域,幻觉略多,MoE路由层对量化噪声尤其敏感。这引出了体验解释权的问题,用户调用DeepSeek官方API效果不好,会认为是DeepSeek的问题,但在本地跑ds4时,面对的是2 - bit量化、Metal runtime、SSD KV cache、上下文截断、agent配置等一整套变量,任何一个环节出问题,往往被归因到“DeepSeek不行”。别人帮扩散模型,但不会帮维护口碑。更深一层看,“成为材料”和“成为平台”不同,梁文锋更想要后者,可ds4却让DeepSeek成为了前者。材料只会被嵌入别人的工具链,不能为DeepSeek提供商业闭环,只有平台才掌握分发、计费、账户、数据、开发者关系和升级节奏。DeepSeek如果只是提供权重,被antirez、Cursor、各种本地agent和第三方runtime拿去改造,它获得了名声,但真正能留住用户的可能是那些工具链的开发者。这就是开源模型的悖论,模型越成功,越容易成为别人的底层能力,但底层能力如果没有抓住开发者的入口,就有可能被上层产品吃掉大部分商业价值。所以ds4对DeepSeek不是简单的好消息,也不是坏消息,可以肯定的是,对于DeepSeek来说,他们又有故事可以讲给投资人听了。