NPU的软件栈概述：编译器、驱动、运行时
昨晚调试一块搭载自研NPU的开发板，跑一个轻量级人脸检测模型。板子点亮，模型加载成功，推理结果却全是NaN。我盯着串口输出看了十分钟，最后发现是编译器生成的权重地址偏移量算错了——驱动层在搬运数据时，把第4个卷积层的bias当成了第3层的weight。这种“编译器-驱动-运行时”三兄弟互相甩锅的场面，我见过不下二十次。
今天这篇笔记，就聊聊NPU软件栈里这三个核心组件到底在干什么，以及它们之间那些容易出鬼的接口。
编译器：把模型翻译成NPU能听懂的话
NPU不像CPU那样能直接跑ONNX或TensorFlow的pb文件。编译器要做的，是把神经网络的计算图拆解成NPU硬件能执行的指令序列。这个过程远比CPU编译器复杂，因为NPU的指令集通常不是图灵完备的——它只擅长矩阵乘、卷积、激活函数这几板斧。
我见过最坑的编译器bug，是把一个3x3的depthwise卷积错误映射到了硬件上的普通卷积单元。硬件上明明有专门的depthwise加速器，编译器却视而不见。结果推理速度直接掉了4倍，功耗还翻了一番。后来查代码，发现是编译器前端在解析算子属性时，把“group”参数漏传了。
编译器输出的东西，通常叫“NPU可执行文件”或“固件包”。里面包含三部分：指令序列（告诉NPU每一步干什么）、权重数据（经过重排和量化后的参数）、以及元信息（输入输出张量的形状、数据类型、内存对齐要求）。这里有个容易踩坑的点——权重数据的排列顺序。CPU上权重是按CHW存的，但NPU为了利用SIMD单元，往往要求权重按某种特殊的tiling方式排列。编译器必须做这个重排，否则驱动层直接搬运
