AI缺的可能不是算力,而是存储
过去两年,整个AI产业都在围绕一个词展开竞争——算力。
从GPU数量到芯片工艺,从互联带宽到集群规模,所有人都在追逐更强的计算能力。
但当大模型参数规模突破万亿级别之后,行业突然发现一个问题:
GPU越来越强,数据却越来越搬不动了。
训练一个大模型,计算单元可能只占成本的一部分,而负责存储参数、缓存数据和传输信息的存储系统,正在成为新的性能天花板。
于是HBM成为AI时代最炙手可热的芯片。
而就在HBM供不应求、价格高企的时候,一个新的技术概念开始浮出水面:
HBF(高带宽闪存)。
如果说HBM改变了AI训练时代,那么HBF的目标,则是改变AI推理时代。
为什么AI离不开HBM?
要理解HBF,首先必须理解HBM。
HBM全称High Bandwidth Memory(高带宽内存)。
本质上它仍然属于DRAM。
与普通DDR内存最大的区别在于:
传统DDR是平面布局;
而HBM是垂直堆叠结构。
从平房变成摩天大楼
普通DDR像是一排平房。
HBM则像一栋高层建筑。
多个DRAM晶圆通过TSV(硅通孔)技术垂直连接:
- 4层
- 8层
- 12层
- 1