万卡AIDC成本拆解：客户付100元，电费与硬件折旧占多少？

1. 从一张电费单说起：万卡集群的钱到底烧在哪

很多人第一次听到"自建万卡AIDC"这个说法，脑子里浮现的画面是机房里密密麻麻的机柜和闪烁的指示灯，觉得这就是个"堆显卡"的生意。但真正在里面待过的人都知道，万卡集群最贵的从来不是那批加速卡本身，而是让这一万张卡同时转起来、还不烧坏、还不掉线的整套系统。客户付的一百块钱里，有多少变成了电费，有多少变成了折旧，有多少变成了运维工程师的夜宵，有多少变成了上游供应商的利润，这笔账如果算不清楚，项目基本就是给电力公司和设备商打工。

我先把结论摆在前面：在一个典型的万卡级AIDC里，客户每付出一百块钱，真正落到"算力本身"这个环节的比例，往往比外行想象的低得多。剩下的钱被切成了好几块，而且每一块的去向都不一样。这篇文章我就按自己的实操经验，把这条资金链路一层层拆开，看看钱到底流向了哪里，以及作为运营方或者使用方，怎么在这条链路上找到自己的位置。

需要先说明的是，下面涉及的所有比例、单价、模型，都是基于行业里常见的公开实践做的合理估算，不同地区、不同规模、不同建设年份的项目差异会很大，具体数字请以自己项目的实际账单为准。我写这些不是给你一个精确的财务报表，而是给你一套拆解思路，让你拿到任何一份AIDC报价单时，都能自己算出钱去哪了。

1.1 为什么"万卡"这个量级是个分水岭

一千张卡和一万张卡，看起来只是数量差十倍，但工程复杂度完全不是一个量级。千卡集群很多时候还能靠"堆机器+人工盯"扛过去，到了万卡，网络拓扑、供电冗余、散热方案、故障自愈、任务调度，每一项都会从"能用"变成"必须专门设计"。

举个最直观的例子：网络。千卡规模下，你可能用普通的以太网交换机组个两层架构就能跑，延迟虽然不理想但能忍。到了万卡，节点间的通信量呈指数级上升，如果还用同样的思路，训练任务会大量时间耗在等数据上，加速卡利用率可能从百分之七八十掉到百分之三四十。这意味着你花同样的电费，产出的有效算力少了一半，单位算力成本直接翻倍。所以万卡集群必须上更贵的互联方案，这部分成本会直接摊到客户头上。

再比如供电。一万张高功耗加速卡，加上配套的CPU、内存、存储和网络设备，整柜功率密度轻松突破几十千瓦。传统机房的供电和散热根本扛不住，必须用专门的液冷或者高密度风冷方案。这些改造的钱，最终都要从客户付的费用里回收。

1.2 一百块钱的粗略切分

我拿一个中等偏上配置的万卡集群做个粗略的切分，帮助大家建立直觉。假设客户为一次大规模训练任务支付了一百块钱的算力费用，这笔钱大致会流向这么几个方向：

这张表不是精确的会计科目，而是帮你建立一个"钱不是只买卡"的认知。你会发现，真正和"算力"直接相关的硬件折旧，占比也就三成左右，剩下七成全是围绕"让硬件能稳定跑起来"的配套。这也是为什么很多自建集群的项目，算下来单位算力成本并不比租用便宜多少，甚至更贵——因为配套成本被低估了。

2. 电费这一刀：为什么它是万卡集群最大的变量

在所有成本项里，电费是唯一一个"你越努力跑，它涨得越快"的项。硬件折旧是固定的，人力是固定的，但电费直接和你的利用率挂钩。一个万卡集群如果常年跑满，电费能吃掉总收入的三成；如果利用率只有一半，电费占比反而会显得低，但你的总收入也低，单位成本更高。这就是个两头堵的局面。

2.1 一张卡的功耗账怎么算

先算单卡。一张主流的高性能加速卡，满载功耗大概在几百瓦这个量级，具体数值不同型号差异很大。我们取一个中间值来算：假设单卡满载功耗是七百瓦。一万张卡就是七兆瓦，这还只是加速卡本身。

但一张卡不能单独工作，它插在服务器里，服务器还有两颗CPU、若干内存条、本地盘、网卡、风扇。一台八卡服务器，整机功耗往往在六到八千瓦。一万张卡大约对应一千两百多台八卡服务器，整机功耗就是八兆瓦左右。

这还没完。这些电在传输和转换过程中有损耗，配电系统效率一般在九成出头，UPS和变压器也要吃掉一部分。再加上散热系统——风冷的话风扇本身耗电，液冷的话水泵和冷却塔耗电，这部分通常是IT设备功耗的百分之二十到四十。所以一个万卡集群的总用电功率，轻松超过十兆瓦。

十兆瓦是什么概念？一小时就是一万度电。按工业电价一度电几毛钱算，一小时电费就是几千块。一天二十四小时，就是十几万。一年下来，光电费就是几千万。这个数字放在任何一家公司的财务报表上都不是小数目。

2.2 电价差一毛，利润差多少

电费对利润的影响，最敏感的就是电价。不同地区、不同供电方式，电价能差出好几毛钱。我见过有的项目为了拿到更低的电价，专门选址在电力资源富余的区域，甚至自建部分供电设施。

假设一个万卡集群年均运行功率是十兆瓦，一年运行八千小时（留出检修和维护时间），年耗电量就是八千万度。如果电价是五毛，年电费四千万；如果电价是四毛，年电费三千二百万。一毛钱的差价，一年就是八百万的利润差。对于运营方来说，这八百万可能就是全年净利润的全部。

所以你会看到，真正做AIDC的团队，在选址阶段就把电价谈判当成头等大事。有的甚至会和供电方签长期协议，锁定一个相对优惠的价格。这不是抠门，这是这个生意的命脉。

2.3 利用率决定了电费是成本还是投资

电费本身不可怕，可怕的是"空转"。集群开着，卡没跑任务，电照样在耗，这部分电费就是纯亏损。所以运营方的核心KPI之一就是利用率。

我个人的经验是，万卡集群的盈亏平衡点，利用率至少要跑到六成以上。低于这个数，电费和折旧就把利润吃光了。而要跑到六成以上，靠零散的小客户是不行的，必须有稳定的大客户或者自己的内部任务托底。

这里有个反直觉的点：有时候运营方宁愿降价接单，也不愿意让集群空着。因为空转的电费和折旧是沉没成本，降价接单至少能覆盖一部分变动成本。这就是为什么你会看到算力价格战打得那么凶——不是大家不想赚钱，是空转更亏。

3. 硬件折旧：那批卡从买入那天就在贬值

加速卡是这个行业里贬值最快的大宗资产之一。新一代产品出来，老一代价格就跳水。而且卡不是买来就能一直用的，高负载运行下，故障率会上升，寿命会缩短。所以硬件折旧这块，算起来比电费还让人心疼。

3.1 折旧年限怎么定才合理

会计上通常按三到五年折旧，但实际业务里，加速卡的经济寿命往往更短。因为两三年后，新一代卡出来，你的老卡在性能和能效上都落后，客户不愿意用，你只能降价。降价就意味着单位算力的收入下降，但折旧成本还是按原值摊，利润就被压缩了。

我见过比较务实的做法是，按三年折旧，同时预留一部分残值。三年后这批卡即使还能用，也基本只能跑一些对性能不敏感的推理任务，或者卖给对成本极度敏感的下游。这部分残值收入，能稍微弥补一点折旧压力。

3.2 故障率是个隐形杀手

万卡集群，卡多了，故障就是常态。行业里有个说法，叫"日抛卡"，虽然夸张，但反映了一个现实：在高强度训练场景下，加速卡、网卡、光模块的故障率都不低。

一张卡坏了，不只是换一张卡的成本。停机期间，整个任务可能都要暂停，等替换完成再恢复。如果是大规模分布式训练，一个节点掉线可能导致整个任务回滚到上一个检查点，浪费的算力时间就是白花花的钱。所以运营方必须准备备件库存，还要有快速定位和替换故障的流程。这些备件和人力，都是成本。

我个人的经验是，备件比例至少要准备百分之三到五。也就是说一万张卡，要常备三百到五百张作为替换。这批备件不产生收入，但必须买，必须养着。这笔钱最终也要摊到客户头上。

3.3 网络设备的折旧更隐蔽

大家算成本时容易只盯着加速卡，忽略了网络。万卡集群的互联网络，交换机、光模块、线缆，加起来也是一笔巨款。而且光模块是消耗品，故障率比交换机还高。这些设备的折旧和更换成本，往往被低估。

尤其是高速光模块，价格不便宜，用量又大。一个万卡集群用掉几万个光模块很正常。每个光模块几百到几千块不等，加起来就是几千万的投入。这部分折旧摊到每张卡上，又是一笔不小的数字。

4. 机房与基建：那些看不见的沉没成本

如果说电费和硬件是"显性成本"，那机房和基建就是"隐性成本"。很多人在做预算时，只算了设备和电费，结果机房改造、供电扩容、散热系统这些钱一出来，预算直接超支。

4.1 从毛坯到能跑卡，中间隔着多少道工序

一个标准的机房要改造成能承载万卡集群的AIDC，中间要过好几道关。首先是承重，高密度机柜对楼板承重要求很高，很多老机房根本达不到，需要加固。其次是供电，要引入足够容量的市电，还要配UPS和柴油发电机做冗余。然后是散热，风冷要规划冷热通道，液冷要铺管道和装CDU。最后是消防、监控、门禁这些配套。

每一道工序都是钱。而且这些改造一旦做了，就是沉没成本，不管集群跑不跑，钱都花出去了。所以运营方在选址时，会优先考虑那些已经具备基础条件的机房，能省一大笔改造费。

4.2 液冷不是想上就能上

现在高密度集群越来越多地采用液冷，因为风冷在高功率密度下效率太低。但液冷不是买几台设备装上就行，它涉及到整个机房的管路设计、冷却液循环、泄漏检测、维护流程。

我见过一些项目，为了赶进度，液冷系统没调试好就上线，结果运行一段时间后出现漏液，把服务器泡了。这种事故的损失，不只是修服务器的钱，还有停机造成的收入损失和客户信任的流失。所以液冷系统的调试和验证，必须留足时间，不能压缩。

4.3 基建摊销怎么算进客户账单

基建成本通常按年限摊销，比如十年。但问题是，客户可能只用一个月的算力，你不可能让他承担十年的基建摊销。所以实际操作中，基建成本是按"预期总使用时长"来分摊的，也就是运营方要预估这个集群未来能卖出多少算力小时，然后把基建成本除进去。

这个预估非常关键。如果预估过高，定价就高，客户不买账；如果预估过低，定价低，但实际卖不出那么多，运营方就亏了。所以定价这件事，本质上是对未来利用率的赌注。

5. 运维人力：那些半夜爬起来换卡的人

万卡集群的运维，不是坐在监控大屏前喝咖啡那么轻松。它是一个需要二十四小时值班、随时响应故障的高强度工作。这部分人力成本，在总成本里占比不算最高，但绝对是不可或缺的。

5.1 一个万卡集群需要多少人

按我的经验，一个万卡集群，如果自动化程度做得比较好，现场运维团队大概需要十几到二十几个人，分三班倒。这还不包括后端的调度、网络、安全、研发支持团队。如果把所有相关人力都算上，可能要三四十人。

这些人的工资、社保、培训、差旅，加起来一年就是几百万到上千万。摊到每张卡上，每张卡每年的人力成本就是几百到上千块。这个数字看起来不大，但乘以一万，就是几百万。

5.2 自动化能省人，但省不了全部

现在很多运维工作可以自动化，比如监控告警、故障自愈、任务调度。自动化确实能减少对人力的依赖，但有些活还是得人干。比如换卡，机械臂虽然能做，但成本和灵活性还不如人工。再比如网络故障排查，很多时候需要经验丰富的工程师现场判断。

我的看法是，自动化应该优先用在"高频、重复、规则明确"的任务上，比如监控和告警。而"低频、复杂、需要判断"的任务，还是得靠人。盲目追求全自动化，投入产出比不一定划算。

5.3 运维质量直接影响客户留存

运维做得好不好，客户是能感知到的。任务跑得稳不稳，故障恢复快不快，响应及不及时，这些都直接影响客户体验。一个经常掉线、故障恢复慢的集群，即使价格便宜，客户也会流失。所以运维投入不是纯成本，它也是竞争力的一部分。

我见过有的运营方为了省人力，把运维外包给第三方，结果故障响应慢，客户投诉不断，最后大客户跑了，损失远超省下的那点人力成本。这个账要算长远。

6. 网络与互联：数据跑得比卡还贵

在万卡集群里，网络的重要性怎么强调都不过分。卡与卡之间要通信，节点与节点之间要通信，集群与外部存储之间要通信。这些通信如果不够快、不够稳，加速卡就得等着，利用率就上不去。

6.1 内部互联：决定训练效率的关键

大规模分布式训练，本质上是一场"通信密集型"的计算。每一轮迭代，各个卡之间都要交换梯度信息。如果网络带宽不够，或者延迟太高，卡就会空等，算力就浪费了。

所以万卡集群的内部互联，通常会用高带宽、低延迟的方案。这些方案的成本，比普通以太网高出不少。但没办法，这是保证训练效率的必要投入。省了网络的钱，就得用算力的浪费来还。

6.2 外部带宽：容易被忽略的成本项

除了内部互联，集群和外部世界的连接也要花钱。客户要把数据传进来，把模型传出去，这些都要占用带宽。如果客户数据量大，带宽成本会很高。

有的运营方会把带宽成本单独计费，有的则打包在算力费用里。不管怎么算，这部分成本是真实存在的。尤其是跨区域传输，带宽费用可能相当可观。

6.3 网络故障的排查成本

网络故障是运维里最头疼的问题之一。因为它往往不是"坏了"这么简单，而是"时好时坏""性能下降"这种模糊的症状。排查起来需要专业工具和经验，耗时耗力。

我个人的经验是，网络监控要做细，要能定位到具体的链路和端口。同时要保留足够的历史数据，方便回溯分析。这些监控工具和数据存储，也是成本。

7. 软件与平台：让一万张卡像一张卡一样工作

硬件堆起来只是第一步，让这一万张卡高效协同工作，靠的是软件和平台。调度系统、监控系统、计费系统、故障自愈系统，这些软件层的投入，虽然占比不高，但决定了集群的可用性和易用性。

7.1 调度系统：算力分配的指挥棒

调度系统决定了哪个任务用哪些卡、用多久、优先级如何。一个好的调度系统，能提高利用率，减少碎片，让客户体验更好。一个差的调度系统，会导致资源浪费、任务排队、客户抱怨。

自研调度系统还是用开源的，这是个常见的抉择。开源的省事，但可能不完全贴合自己的业务需求；自研的灵活，但投入大、周期长。我的建议是，初期可以用开源快速上线，等业务跑起来、需求明确了，再逐步自研替换。

7.2 监控与计费：钱要算得清楚

监控系统要能实时看到每张卡的状态、每个任务的资源占用、每个客户的用量。计费系统要能根据这些数据，准确算出每个客户该付多少钱。这两个系统如果做不好，要么是运营方吃亏，要么是客户不信任。

我见过有的项目，计费靠人工统计，结果经常算错，客户和运营方扯皮。这种问题看似小，但很伤客户关系。所以计费和监控的自动化，是必须做的。

7.3 软件投入的回报周期

软件投入的特点是前期投入大、回报周期长。但一旦跑通，边际成本很低，而且能形成壁垒。一个稳定好用的平台，能吸引客户长期留存，这比单纯拼价格更有价值。

8. 利润与税费：最后剩下的那点钱

把前面所有成本都扣掉，剩下的才是运营方的利润。这个利润空间，取决于定价、利用率、成本控制等多个因素。在竞争激烈的市场里，这个空间可能很薄。

8.1 定价策略：成本加成还是市场导向

定价有两种思路：成本加成和市场导向。成本加成是算清楚所有成本，加上目标利润，得出价格。市场导向是看竞争对手卖多少钱，跟着定。实际操作中，往往是两者结合。

我的经验是，成本加成能保证你不亏，但可能定得过高卖不出去；市场导向能保证你有竞争力，但可能亏本。所以要先算清楚自己的成本底线，再根据市场情况灵活调整。

8.2 税费与合规成本

税费是硬性支出，跑不掉。除此之外，还有各种合规成本，比如安全认证、数据保护、环保要求。这些成本虽然不直接产生收入，但不做又不行。

8.3 规模效应：越大越省，还是越大越难

理论上，规模越大，单位成本越低，因为基建和人力可以摊薄。但实际中，规模越大，管理复杂度越高，故障影响面越大，协调成本也越高。所以规模效应不是无限的，存在一个最优规模。

我个人的观察是，万卡这个量级，已经进入了"规模不经济"的临界区。再往上堆，管理成本的增长可能超过规模带来的节省。所以很多运营方会选择多个中等规模集群分布式部署，而不是一味追求单集群规模。

9. 客户视角：你付的钱买到了什么

前面都是从运营方角度算账。换个角度，从客户视角看，你付的一百块钱，买到的到底是什么？

9.1 你买的是"有效算力"，不是"卡的数量"

客户真正需要的，是能跑出结果的有效算力，而不是一堆卡的物理存在。如果集群利用率低、故障多、调度差，你名义上买了一万张卡，实际有效算力可能只有一半。所以选AIDC，不能只看卡的数量和单价，要看实际能跑出多少有效算力。

9.2 稳定性比峰值性能更重要

对于长期训练任务，稳定性比峰值性能更重要。一个能稳定跑一个月不出故障的集群，比一个峰值性能高但三天两头掉线的集群，价值大得多。所以评估AIDC时，要重点看它的故障率和恢复时间。

9.3 隐性成本要提前问清楚

除了算力单价，还有很多隐性成本要提前问清楚：数据传入传出要不要钱？存储怎么计费？技术支持响应时间多长？故障停机怎么赔偿？这些如果不在合同里写清楚，后期容易扯皮。

10. 我踩过的几个坑和一点实在建议

说了这么多，最后分享几个我在实际操作中踩过的坑，以及一些实在的建议。

第一个坑是低估了电费。早期做预算时，只算了IT设备功耗，忘了散热和配电损耗，结果实际电费比预算高出三成。后来学乖了，做预算时直接在IT功耗上乘一个一点五的系数，留足余量。

第二个坑是备件准备不足。有一次一批卡集中出故障，备件不够，只能等供应商发货，停机了好几天。那几天的收入损失和客户赔偿，远超多备点备件的成本。从那以后，备件比例我再也不敢压太低。

第三个坑是网络监控不到位。有一次训练任务频繁中断，排查了很久才发现是某个光模块间歇性故障。如果监控做得细一点，能提前发现异常，就不会浪费那么多时间。

一点实在建议：如果你是要自建AIDC，先把电费和基建这两块算清楚，这两块最容易超支。如果你是要租用AIDC，别只看单价，要综合评估稳定性、运维响应和隐性成本。这个行业没有捷径，每一分钱都要花在刀刃上，每一度电都要算清楚去向。客户付的一百块，最终流向哪里，取决于你在这条链路上每一个环节的取舍和把控。