这部分内容核心就两件事：
- 怎么打分：剪完的模型好不好，用什么“考卷”、什么“参考机器”、看哪些“分数项”来评判；
- 怎么选人：剪枝时该裁掉网络的哪部分，用什么标准判断“这部分没用，可以剪”。
第一部分：剪枝效果怎么评？
剪完模型不能凭感觉说“好”或“差”，得有统一的“考试规则”——用固定的“考卷”、固定的“参考机器”、看固定的“分数”。
1. 第一步：选“考卷”——剪枝实验用什么数据集？
数据集就是给模型做测试的“考题”，行业里只认两套主流考卷：
| 考卷名称 | 通俗定位 | 核心信息（小白版） |
|---|---|---|
| CIFAR-10 | 「小测验卷」 | - 10个类别（猫、狗、飞机等） - 总共6万张图，每张只有32×32像素（特别小，像微信头像） - 每个类别题目数量一样（5000道训练题、1000道测试题），公平 |
| ILSVRC-2012（ImageNet 2012） | 「全国统考卷」 | - 1000个类别（比CIFAR-10复杂多了，比如不同品种的狗、不同款式的杯子） - 训练题超128万道，测试题5万道 - 训练题每个类别数量不均（732~1300道），但测试题每个类别都是50道，保证公平 |
👉 通俗理解：CIFAR-10是“基础小测”，适合快速试剪枝方法好不好用；ILSVRC-2012是“大考”，能验证剪枝后的模型在复杂场景下行不行。
2. 第二步：选“参考机器”——剪枝实验用什么模型？
模型就是要“减肥”的“机器”，行业里只测三款主流机器，不同考卷对应机器的不同版本：
| 机器名称 | 特点 | 实验常用版本 |
|---|---|---|
| VGG-Net | 结构规整、层数多，像“老式重型机器”，容易剪但体积大 | 几乎都用VGG-16（16层版本） |
| ResNet | 带残差结构（之前讲过的“捷径”），像“新式高效机器”，是剪枝的核心测试对象 | - 做CIFAR-10小测：用ResNet-52（专门适配小图片的52层版本） - 做ILSVRC-2012大考：用ResNet-50（适配复杂大图的50层版本） |
| MobileNet | 专为手机/移动端设计，像“轻便便携机器”，剪枝后要能装进口袋 | 常用MobileNet-V1/V2（V2比V1更轻） |
👉 通俗理解：测剪枝效果，必须用大家都认的机器，不然你剪“杂牌机器”、我剪“名牌机器”，没法比好坏。
3. 第三步：看“分数”——剪枝效果评哪三项？
核心看3个分数，缺一个都不算客观，相当于“减肥后既要瘦、又要跑得快、还不能变笨”：
（1）分数1：准确率（变笨了没？）
- 核心指标：Top-1准确率（模型猜的第一个答案对不对）、Top-5准确率（模型猜的前5个答案里有没有对的）；
- 关键对比：剪枝后的模型准确率 - 原模型准确率（通常是负数，比如原模型90%，剪完88%，就是-2%）；
- 怎么看：这个负数越小，说明剪枝没让模型变笨多少，效果越好。
👉 通俗理解：减肥后的工人，做题正确率掉得越少越好。
（2）分数2：模型大小（瘦了多少？）
- 核心指标：剪枝后模型的参数量 ÷ 原模型参数量（比如从1亿参数降到1000万，就是压缩了90%）；
- 怎么看：压缩比例越大，说明“减肥”越成功，模型越小越容易装到手机里。
👉 通俗理解：工人团队的人数少了多少，人越少越省成本。
（3）分数3：运行时间（跑得快了没？）
- 核心指标：模型在实际硬件（手机/电脑）上的“前向时间”（处理一张图要多久）；
- 注意坑：别只看“理论计算量（FLOPs）”——有些模型理论上算得少，但结构不适配硬件（比如手机不支持），实际跑起来还是慢；
- 怎么看：实际运行时间越短，模型越实用。
👉 通俗理解：工人团队处理一张图的时间，越快越好，不能只看“理论上能快”，得实际测。
第二部分：剪枝的核心——怎么判断“该剪谁”？
剪枝不是乱剪，得先给网络里的每个“零件”（比如滤波器、残差块）打分，分数低的才剪。打分规则分两大类，类比成“招工人”的两种方式：
| 打分规则类型 | 类比 | 核心逻辑 |
|---|---|---|
| 参数驱动 | 看简历选人（不面试） | 不喂数据，只看零件“自身的简历”（参数）打分 |
| 数据驱动 | 看面试表现选人（要实操） | 喂数据进去，看零件“实际干活表现”打分 |
1. 第一类：参数驱动（看简历，快但不精准）
核心：不用给模型喂任何图片，只看模型自己的参数（比如权重、BN层的γ值），判断零件有没有用。
优点：快、省算力；缺点：要手动调“及格线”（阈值），不够贴合实际。
常用的“简历打分规则”（小白版）：
| 规则名称 | 通俗理解（工人版） |
|---|---|
| L1/L2正则化 | 看工人的“体重”：体重越轻（参数绝对值之和/平方和越小），说明干活越少，越可以裁 |
| BN层γ参数 | 看工人的“活跃度”：γ值越小，说明这个工人负责的环节越“没动静”，裁了不影响 |
| 几何中位数 | 看工人的“相似度”：如果这个工人和团队里大多数人干的活几乎一样（接近几何中位数），就是冗余，裁了不影响 |
| 谱聚类 | 先把工人分组，再看每组里谁的贡献最小，裁掉贡献小的 |
👉 举个例子：用L1正则化打分时，计算每个滤波器的权重绝对值加起来是多少，比如滤波器A是0.1，滤波器B是10，那A的分数低，优先裁A。
2. 第二类：数据驱动（看面试，精准但费时间）
核心：必须喂图片（数据）进去，看每个零件“实际干活的表现”，再打分。
优点：贴合实际场景，剪得更准；缺点：要喂数据、算得多，费算力和时间（但近几年更火，因为效果好）。
常用的“面试打分规则”（分层次讲，从简单到复杂）：
（1）基础款：看“干活摸鱼程度”
- APoZ：看工人干活的“空白率”——工人处理图片后输出的结果里，0值占比越高（比如90%都是0），说明几乎没干活，裁了；
- HRank：看工人干活的“质量”——工人输出的“成果（特征层）”质量越低（秩越低），说明干活没价值，裁了；
- 子空间聚类：看工人之间的“重复度”——把工人的成果分组，重复的组里裁掉多余的。
（2）进阶款：看“少了他行不行”
- 特征重建：假设裁掉这个工人，看后续工人能不能把他的活补上——如果补上后成果几乎没变，说明这个工人可以裁（比如ThiNet、LASSO回归）；
- PCA分析：看工人成果的“信息量”——用PCA分析成果里有多少有用信息，信息少的工人裁掉。
（3）全局款：看“裁了他对整体的影响”
（之前的方法只看单个/相邻工人，这部分看整个工厂的影响，更精准）
- 梯度/泰勒展开：看工人对“工厂最终成绩（损失函数）”的影响——裁掉他后，工厂成绩掉得越多，说明他越重要；
- 熵值：看工人成果的“多样性”——成果越多样（熵越大），说明他越重要，不能裁；
- KL散度（CURL）：裁掉这个工人后，看工厂最终输出和原来的差距——差距越大，说明他越重要；
- 子模型准确率（EagleEye）：直接裁掉一批工人，组成小团队（子模型），测小团队的正确率——正确率越高，说明这批工人越重要，不能裁（但要试上千次，费算力）。
（4）最新款：“因材施教”（LFPC）
不同车间（卷积层）的工人干的活不一样，不能用同一套打分规则——给每个车间定制打分规则，比如A车间看“摸鱼率”，B车间看“信息量”，更贴合实际。
3. 两类规则对比（小白终极版）
| 维度 | 参数驱动 | 数据驱动 |
|---|---|---|
| 要不要喂数据 | 不要 | 要 |
| 速度 | 快 | 慢 |
| 精准度 | 一般（只看自身） | 高（看实际表现） |
| 调参难度 | 要调阈值，麻烦 | 不用调，更省心 |
| 近年热度 | 低 | 高 |
核心总结
- 剪枝效果评价：看3点——准确率掉得少、模型压缩比例大、实际运行时间短，测试用CIFAR-10（小测）/ILSVRC-2012（大考），模型用VGG/ResNet/MobileNet；
- 剪枝选谁裁：分两类规则——参数驱动（看简历，快但糙）、数据驱动（看面试，慢但准），现在主流用数据驱动；
- 核心逻辑：剪枝不是乱裁，而是“精准裁员”——先打分，裁掉分数低的，既让模型变小变快，又尽量不影响准确率。
