1. 从“巨无霸”到“乐高积木”：为什么AI推理芯片必须走向Chiplet架构
如果你最近在关注AI芯片的动态，尤其是那些部署在数据中心、边缘设备里，日夜不停地处理着我们对话、图片和决策的推理芯片，可能会发现一个明显的趋势：大家都不再热衷于谈论如何把晶体管做得更小、把单颗芯片做得更大了。取而代之的是，“Chiplet”（芯粒）、“异构集成”、“先进封装”这些词频繁出现。这并非偶然，而是一场由底层物理规律和上层应用需求共同驱动的、正在发生的架构革命。简单来说，传统的“巨无霸”式单片芯片（Monolithic Chip）在AI推理这个战场上，已经越来越力不从心，而像搭乐高积木一样，将不同功能的芯粒组合起来的Chiplet架构，正在成为新的设计基线。
为什么是推理而不是训练？因为当AI模型从实验室走向千家万户、工厂车间和云服务器时，真正的成本和能耗压力来自于推理——也就是模型实际干活的过程。无论是你手机里的语音助手，工厂里的质检机器人，还是云上处理海量请求的推荐系统，它们99%以上的生命周期都在进行推理运算。这个环节直接关系到电费账单、服务器机柜的散热，以及最终服务的响应速度和可靠性。然而，许多系统仍基于为通用计算或训练优化的单片架构，这就像用一台高油耗的赛车去跑城市快递，动力过剩且效率低下，导致大量的能源浪费在芯片内部的数据“搬运”上，而非实际的计算上。
Chiplet架构的核心思想是“分而治之”与“专业分工”。它将一个复杂的片上系统（SoC）分解成多个较小、功能明确的独立裸片（Die），比如专门负责矩阵计算的“计算芯粒”、高带宽的“存储芯粒”、负责芯粒间高速通信的“互连芯粒”以及“控制芯粒”。这些芯粒通过先进的封装技术（如2.5D、3D封装）紧密集成在一起，形成一个性能强大的虚拟大芯片。这种模式并非为了炫技，而是为了解决单片架构在AI推理时代面临的几个根本性困局。
2. 单片架构之殇：推理工作负载下的三重枷锁
要理解Chiplet的必要性，首先得看清传统单片架构在应对现代AI推理时究竟卡在了哪里。这不仅仅是工艺制程的挑战，更是系统级设计的结构性矛盾。
2.1 光罩尺寸与良率的物理天花板
第一个枷锁是物理尺寸。半导体制造中，一片晶圆是通过一个叫做“光罩”的模板进行曝光来刻画电路的。这个光罩的尺寸是有限的，目前业界主流的最大光罩尺寸大约在858平方毫米左右。这意味着，单颗芯片的尺寸不能超过这个范围，即所谓的“光罩极限”。为了追求更高性能，芯片设计者曾试图在单颗芯片上集成更多的CPU核心、GPU流处理器、专用加速器和高速缓存，但很快就会触及这个天花板。一旦芯片面积过大，就必须采用更复杂、成本更高的多光罩拼接技术，这直接推高了制造难度和成本。
更严峻的是良率问题。在晶圆制造中，缺陷是随机分布的。芯片面积越大，单颗芯片包含缺陷的概率就越高，良率随之急剧下降。一颗接近光罩极限的大芯片，其制造成本并非线性增长，而是指数级上升。对于需要大规模部署的AI推理芯片来说，这种成本是不可承受的。Chiplet通过将大芯片拆分成多个小芯粒，每个芯粒的面积较小，从而显著提升了单个芯粒的制造良率，从源头上控制了成本。
2.2 “内存墙”与功耗失衡
第二个，也是最关键的枷锁，是“内存墙”问题在推理场景下的极端化。AI推理，特别是Transformer等大模型推理，其计算模式对内存带宽和延迟有着近乎贪婪的需求。模型参数需要从片外存储（如HBM）加载到片上缓存，中间计算结果也需要频繁存取。在单片架构中，计算单元（如AI加速核）和内存（如SRAM缓存）被固化在同一块硅片上，它们之间的数据通路受到芯片布局和全局互连延迟的限制。
这就导致了一个严重问题：大量的功耗并非消耗在有用的计算上，而是消耗在数据的长距离搬运上。有分析指出，在典型的AI推理工作负载中，数据搬运的能耗可能占总能耗的60%以上。单片架构由于结构的僵化，很难为计算单元配备足够近、足够大的专用内存。计算核可能为了获取一个数据，需要穿越整个芯片，经历多层片上网络，这产生了巨大的动态功耗和延迟。Chiplet架构则允许将计算芯粒与高带宽内存芯粒通过硅中介层或3D堆叠的方式进行超短距离、超高带宽的互连，比如使用硅通孔技术，将数据传输距离从毫米级缩短到微米级，从而极大降低了数据搬运的能耗和延迟，直接击中了推理能效比的要害。
2.3 功能耦合与迭代僵化
第三个枷锁是系统迭代的灵活性。单片芯片是一个高度耦合的系统。任何功能的更新，例如升级I/O接口标准（如从PCIe 4.0到5.0）、更换更先进的内存控制器（如支持HBM3e）、或者优化某一代AI计算核的微架构，都意味着需要重新设计、流片整个芯片。这个过程动辄耗费上亿美元和18-24个月的时间。在AI算法和应用场景快速演进的今天，这种缓慢的迭代速度是无法接受的。
相反，Chiplet架构实现了功能的解耦。I/O、内存、计算、控制等功能模块被设计成独立的芯粒。当需要升级时，可以只重新设计其中某一个芯粒，而复用其他经过验证的芯粒。例如，下一代产品可以沿用成熟的I/O芯粒和内存芯粒，只更新计算芯粒来适配新的AI算子。这极大地加速了产品迭代周期，降低了研发风险和市场准入成本，使得芯片设计公司能够更敏捷地响应市场需求。
注意：转向Chiplet并非没有代价。它引入了芯粒间互连的设计复杂性、先进封装带来的成本、以及多芯片系统在测试、良率管理和散热设计上的新挑战。但这属于“可解决的工程问题”，而单片架构面临的则是“不可逾越的物理与经济学限制”。两者的权衡，高下立判。
3. Chiplet如何重塑AI推理芯片：架构、互连与生态
理解了“为什么”，接下来我们深入看看“怎么做”。Chiplet架构并非简单地把芯片切碎，它背后是一套完整的、从设计到封装的系统工程。
3.1 模块化架构设计：像搭积木一样构建芯片
在Chiplet范式下，AI推理芯片的设计思路从“一体化设计”转变为“模块化集成”。一个典型的面向推理的Chiplet系统可能包含以下核心模块：
- 计算芯粒：这是AI加速的核心，通常包含高度优化的张量处理单元、向量计算单元以及相关的本地缓存。由于专注于计算，它可以采用最先进的工艺节点（如3nm）来追求极致的能效和性能密度。
- 内存芯粒：通常指高带宽内存堆栈，如HBM。在2.5D封装中，多个HBM芯粒通过硅中介层与计算芯粒并排放置，通过数以千计的微凸块实现超高速互连。在3D封装中，内存可以直接堆叠在计算芯粒之上，实现更极致的带宽和能效。
- I/O与互连芯粒：负责芯片与外部世界的通信，包括PCIe控制器、以太网或InfiniBand接口等。这个芯粒可能采用成本更优的成熟工艺（如12nm或16nm），因为其对晶体管密度和性能的要求相对计算部分较低。
- 基础芯片与网络芯粒：在一些更复杂的架构中，还可能存在一个集成了片上网络、系统缓存和一致性控制器的“基础芯粒”，其他计算和内存芯粒像“小芯片”一样贴装其上。
这种分工允许每个芯粒“术业有专攻”。计算芯粒拼命追求算力密度，内存芯粒专注提供带宽，I/O芯粒确保连接性。设计团队可以并行开发不同芯粒，甚至从不同供应商处采购经过验证的芯粒（称为“IP芯粒”），大幅缩短开发周期。
3.2 互连技术：Chiplet系统的“神经系统”
芯粒间的互连性能直接决定了整个系统的效率。目前主流的技术路径有几种：
- 2.5D集成与硅中介层：这是目前最成熟的高性能Chiplet互连方案。计算芯粒、HBM内存芯粒等被并排安装在一个硅中介层上。中介层内部有高密度的布线层，实现芯粒间超短距离、超高带宽的通信，其互连密度和带宽远高于传统的有机基板。AMD的MI系列加速器、英特尔的Ponte Vecchio都采用了此类技术。
- 3D堆叠：这是更激进的方案，将不同功能的芯粒在垂直方向上堆叠起来，并通过硅通孔直接连接。这能实现最高的互连密度和最低的延迟，特别适合计算与内存的紧耦合。但散热挑战巨大，是目前研发的前沿。
- 先进封装下的高密度互连：如台积电的CoWoS、英特尔的EMIB、Foveros等，它们提供了不同粒度、不同成本目标的互连方案，允许设计者混合使用2.5D和3D技术。
互连标准也至关重要。为了促进芯粒生态的发展，行业联盟如UCIe致力于定义开放的芯粒间互连标准，旨在让不同厂商、不同工艺节点的芯粒能够像USB设备一样“即插即用”。虽然完全实现这一愿景还需时日，但标准化无疑会降低设计门槛，繁荣Chiplet生态系统。
3.3 成本与能效模型：算一笔经济账
从商业角度看，Chiplet的核心优势在于优化了总拥有成本。虽然先进封装增加了单颗封装体的成本，但它通过以下方式带来了更大的节约：
- 良率提升：如前所述，小面积芯粒的良率远高于大面积单片芯片。假设单片芯片良率为50%，而将其分成四个等面积芯粒后，每个芯粒良率可能达到90%。通过封装集成，最终得到一颗功能完好“大芯片”的总体良率将显著高于50%。
- 工艺节点混合使用：并非所有模块都需要最昂贵的尖端工艺。可以将对性能敏感的计算部分用3nm，对成本敏感的I/O和部分控制逻辑用12nm或16nm。这种“混合工艺”策略在单片设计上无法实现，而在Chiplet中则很自然，能大幅降低整体硅成本。
- 能耗节约：通过计算与内存的紧耦合设计，减少数据搬运距离，直接降低了单位推理任务的能量消耗。有行业评估指出，针对相同工作负载，优化后的Chiplet架构相比传统单片设计，可实现30-40%的能耗降低。在数据中心规模下，这直接转化为巨额的电费节省和碳减排，同时允许在相同的功耗预算下部署更强的算力。
4. 面向未来：Chiplet如何支撑“智能体”与边缘AI
AI推理的需求正在向两个看似相反的方向演进：一是云端和数据中心对高吞吐、低延迟的极致追求；二是边缘侧对低功耗、小体积、高能效的严苛要求。Chiplet架构在这两个方向上都展现出独特的适应性。
4.1 赋能“智能体”推理与动态工作负载
未来的AI系统正从简单的“输入-输出”模式，向能够自主规划、决策和行动的“智能体”模式演进。这类工作负载对芯片架构提出了新挑战：它们可能需要动态地在不同模型（如视觉识别、语言理解、决策规划）间切换，工作负载具有不可预测的突发性，并且对推理链路的端到端延迟极其敏感。
Chiplet的模块化特性为此提供了理想硬件基础。可以设想一个由多个不同类型计算芯粒（如视觉处理芯粒、语言模型芯粒、规划模型芯粒）组成的系统，通过一个高带宽、低延迟的片上网络互连。系统可以根据任务需求，动态地将数据路由到相应的计算芯粒上，甚至可以将多个芯粒临时组合成一条专用流水线。这种“可重构性”是僵化的单片架构难以实现的。此外，为智能体提供工作记忆（Working Memory）可能需要新型的、高带宽、非易失的存储芯粒，Chiplet架构也能灵活地集成此类新兴技术。
4.2 实现边缘AI的定制化与能效比
在边缘侧，场景碎片化严重。自动驾驶汽车、智能摄像头、工业网关、AR眼镜……每个场景对算力、功耗、体积和成本的要求组合都不同。为每个场景从头设计一款单片SoC成本高昂且周期漫长。
Chiplet使得“定制化”变得可行。芯片设计者或系统厂商可以从一个“芯粒库”中选取合适的计算芯粒（如不同算力级别的NPU）、内存芯粒（如LPDDR控制器）、I/O芯粒（如车载以太网、MIPI接口），像拼装乐高一样，快速组合出一款满足特定边缘场景需求的芯片。这不仅加快了产品上市时间，还能实现极致的能效比，因为系统中的每一个组件都是为特定任务精准匹配的，没有无用的冗余逻辑。
实操心得：对于计划采用Chiplet架构的团队，我的建议是“自上而下规划，自下而上验证”。首先要从系统应用和软件栈的需求出发，明确带宽、延迟、功耗的预算，以此定义芯粒间互连的协议和性能指标。然后，在芯粒设计阶段，就要充分考虑测试访问、功耗管理、时钟同步等跨芯粒协同的挑战。早期引入封装和系统团队进行协同设计至关重要，避免芯粒设计完成后才发现无法集成或性能不达标。
5. 挑战与应对：拥抱Chiplet时代的工程实践
尽管前景光明，但转向Chiplet设计绝非易事。它要求设计团队具备跨领域的系统级视角，并解决一系列新的工程挑战。
5.1 设计、验证与测试复杂度的激增
单片芯片的设计验证已经非常复杂，而Chiplet系统将复杂度提升了一个数量级。你需要验证的不仅是单个芯粒的功能，还包括：
- 芯粒间互连协议：确保不同芯粒之间的电气特性、时序和协议完全兼容。
- 系统级功能：如跨芯粒的一致性缓存、全局中断传递、电源管理协同等。
- 封装效应：信号在硅中介层或再分布层中的完整性、散热路径、机械应力等。
传统的EDA工具和验证方法学需要升级。需要采用更强大的系统级建模和仿真工具，在早期进行架构探索和性能评估。硬件仿真和原型验证平台也变得更为关键，用于在流片前对整个多芯粒系统进行软硬件协同验证。
5.2 先进封装的选择与成本控制
封装从“保护壳”变成了“性能定义者”。选择哪种封装技术（CoWoS? EMIB? Foveros?）直接决定了系统的带宽、功耗、尺寸和成本。这些先进封装技术目前产能紧张、成本高昂，且供应链相对集中。设计团队必须：
- 与封装厂早期深度合作，理解各种技术的设计规则和成本结构。
- 在性能、成本和量产可行性之间做出精细的权衡。
- 考虑采用多种封装技术组合的异构集成方案。
5.3 供应链与生态的构建
单片时代，设计公司主要与晶圆厂打交道。Chiplet时代，供应链变得网状化：你需要与多个IP芯粒供应商、封装测试厂、中介层供应商等协同。这带来了新的挑战：
- 质量与可靠性：如何确保来自不同供应商、不同工艺节点的芯粒在长期可靠性上保持一致？
- 安全与信任：如何保证第三方芯粒中没有安全后门？
- 库存与物流：管理多种芯粒的库存和组装流程，比管理单颗芯片更复杂。
构建或融入一个健康的Chiplet生态至关重要。参与UCIe等标准组织，与可靠的合作伙伴建立长期关系，是降低风险的关键。
常见问题与排查思路实录
在实际探索Chiplet设计时，团队常会遇到一些典型问题。以下是一些实录：
- 问题：系统仿真性能达标，但原型板实测带宽远低于预期。
- 排查：首先检查互连的物理层设计。使用示波器或误码率测试仪测量芯粒间高速串行链路的信号完整性。重点观察眼图是否张开，是否有过大的抖动或码间干扰。这很可能是由于封装寄生参数、阻抗不连续或电源噪声导致信号质量恶化。需要回溯检查封装模型和电源完整性仿真是否充分。
- 问题：多芯粒系统在高温下运行时出现偶发性计算错误。
- 排查：这通常是热致时序违规或电源噪声问题。使用红外热像仪检查封装表面温度分布，确认是否有局部热点，特别是计算芯粒下方。热点会导致晶体管速度变慢，可能违反建立/保持时间。同时，监测各芯粒的电源轨纹波，大电流动态负载可能导致瞬间电压跌落，引发逻辑错误。需要优化散热设计和电源配送网络。
- 问题：从不同批次供应商处采购的同一型号内存芯粒，系统稳定性不同。
- 排查：这凸显了多源供应链的挑战。即使符合同一标准，不同晶圆厂或不同批次的芯片在参数上可能存在细微差异（工艺角漂移）。需要在系统设计时预留足够的时序和电压裕量。建立严格的入厂检验标准，对关键参数（如驱动强度、输入电容）进行测试。与供应商共同分析根本原因，推动其工艺控制。
这场从“单片”到“芯粒”的范式转移，其驱动力并非来自工程师对新颖技术的偏爱，而是源于一个冷酷的现实：摩尔定律和登纳德缩放的红利已经耗尽，但AI对算力的渴求仍在指数级增长。当纵向缩放（把晶体管做小）变得艰难且昂贵时，横向缩放（把芯粒组合起来）就成了必然的选择。它不仅仅是延续了性能增长的曲线，更是在能效、成本、迭代速度等多个维度上重新定义了芯片设计的游戏规则。对于任何正在或计划设计AI推理硬件的工程师和决策者而言，深入理解并拥抱Chiplet架构，不再是一个前瞻性的选项，而是一项关乎产品竞争力与生存的必修课。这不再是关于“是否”采用的问题，而是关于“如何”更快、更稳健地掌握这项新基线技术。
