「CNN与ViT的分工逻辑」
目录
01 Transformer 与 CNN 应用范围对比
02 CNN：把"局部"写进结构里
03 Transformer（ ViT）：把图像当成一句话
04 二者原理对比
05 落地分工：谁在哪儿干活
06 结局不是取代，是混合
卷积神经网络（CNN）和视觉Transformer（ViT）是当前计算机视觉的两大主流架构。
二者并非替代关系，而是分别适用于不同数据规模、算力条件和任务复杂度的场景。本文从原理出发，梳理它们的核心差异与典型应用。
01 Transformer 与 CNN 应用范围对比
自动驾驶领域中，纯CNN架构长期用于车载实时检测分支，包含车道线识别，近距离障碍物检测以及交通标识分类等基础感知任务。YOLO系列卷积模型是车载前视感知的主流选型，可以稳定输出低延迟推理结果，适应车辆高速行驶过程中的实时响应需求。
Transformer架构主要用于自动驾驶高阶感知模块，涵盖鸟瞰图视角场景重建，多雷达与相机传感器特征融合，车辆行人轨迹预测以及可行驶区域精细化分割等核心任务，现有量产自动驾驶方案多采用卷积主干加Transformer辅助建模的混合结构。
工业固定场景作业机器人依靠CNN完成工件定位，表面缺陷检测以及分拣目标识别，结构化场景的固定特征可以被卷积结构高效提取，模型训练成本更低且运行稳定性更强。
移动服务机器人和户外巡检机器人更多引入Transformer结构，这类机器人需要动态识别多变环境中的物体关联，需要建模远距离场景布局，全局注意力机制可以有效提升复杂环境下的感知鲁棒性，帮助机器人完成避障路径规划和适应动态场景。
02 CNN：把"局部"写进结构里
卷积怎么算
卷积层用一个固定尺寸的卷积核在像素矩阵上滑动。每滑到一个位置，就把核内像素与卷积核权重做加权求和，得到一个输出值。同一个卷积核在全图所有位置共用同一组参数——这就是权重共享，也是卷积参数量远小于全连接层的根本原因。
这套运算极度规整，硬件对它很友好，显存占用也低。
两条先天假设
卷积自带两条强归纳偏置：
- 局部性：一次卷积只看得到核覆盖范围内的像素，超出这个范围的信息一概不知；
- 平移等变性：同一个特征无论出现在图像哪个位置，卷积都给出同样的响应；配合池化后，模型对小幅位移更不敏感。
这两条假设相当于提前告诉模型"图像大概长什么样"，所以小数据集上卷积收敛快、泛化稳。
代价：远处的信息只能靠堆层
局部性是有代价的。两个相距很远的像素要发生关联，只能靠一层层往上堆——层数越深，远距离信息传递的损耗越大。
想看得更广怎么办？引入空洞卷积可以扩大感受野，但会带来网格伪影、破坏特征连续性；要捕捉多尺度特征，则得额外搭建特征金字塔（FPN）、空间金字塔这类辅助模块，结构设计的人工成本随之上升。
03 Transformer（ ViT）：把图像当成一句话
分块，就是 token
ViT 的起点是把整张图切成一批固定尺寸的图像块。每块展开成一维向量，再线性映射成统一维度的特征——到这里，图像块和语言模型里的 token 就没区别了。
图 | ViT的图像分块是固定的，没有感受野移动这个环节，一般也不重叠
图 | Transformer本来是用在语言中的，但是图像块也可以理解为token
分块尺寸按需调整：高分辨率场景（比如自动驾驶前视）会用更小的块，以保留细节。切块本身丢掉了位置信息，所以要给每个块加上位置编码补回空间结构。视觉任务普遍用可学习位置编码，也有工作用固定三角函数编码。
自注意力：任意两块直接对话
核心运算是自注意力：任意两个图像块之间都能直接计算关联权重，不需要像卷积那样逐层传递。远距离特征的交互，一次运算就能完成。
代价是复杂度——对 N 个图像块，自注意力的计算量随 N² 增长，图像分辨率一高，序列长度立刻成为瓶颈。多头注意力则让不同的"头"分别关注不同尺度和语义的关联。
后来 Swin Transformer 引入移位窗口，把全局注意力限制在局部窗口内，再在相邻层之间错开窗口边界来实现跨窗口通信——这才让 ViT 能上到车载设备。
图 | Transformer（ViT）架构图
弱归纳偏置：不预设，全靠学
ViT 最关键、也最容易被忽略的一点，是它的弱归纳偏置。
卷积强制模型优先看邻域、并假定平移后特征不变；ViT 一条都不假设——哪两个块相关、物体之间是什么位置关系，全部从训练数据里自己学。
这让它的表达上限更高，能学到卷积预设之外的空间模式；但也意味着小数据上它更容易把噪声当规律记住。
04 二者原理对比
05 落地分工：谁在哪儿干活
工业落地从来不是二选一，而是按实时性和复杂度分工。
自动驾驶：CNN 管"看得快"，ViT 管"看得全"
- CNN：守着高频低延迟的基础分支：车道线识别、近距离障碍物检测、交通标识分类。YOLO 系列这类卷积模型至今仍是车载前视的主流选型——推理延迟稳定、显存占用低，能扛住高速行驶下的实时响应。
- Transformer：接的是更高阶的活：鸟瞰图（BEV）场景重建、多相机与雷达的特征融合、行人车辆轨迹预测、可行驶区域分割。这些任务要在多个传感器、多个时刻之间建立关联，正是全局注意力的强项。
机器人：固定工位用卷积，动态环境用注意力
- 工业机器人（工件定位、表面缺陷检测、分拣识别）：场景结构化、特征稳定，卷积提取效率高、训练成本低、运行更稳；
- 移动服务与户外巡检机器人：面对无结构动态环境，要判断目标与周边障碍物的空间约束、要建模远距离场景布局来做避障规划，全局注意力对感知鲁棒性的提升更明显。
恶劣工况最能拉开差距
夜间逆光、雨天水雾下，固定卷积核难以适应噪声变化，小目标容易漏检；全局注意力则能把权重集中到有效目标上、抑制背景干扰。
动态避障也是类似逻辑：卷积擅长认出"这是什么"，但很难判断"它接下来往哪走"——带时序注意力的结构可以关联多帧特征，预判轨迹。
06 结局不是取代，是混合
所以今天量产的答案基本是混合架构：
- 自动驾驶：主流方案用 CNN 骨干提取底层纹理，再交给 Swin Transformer 做全局建模与多尺度融合——既保住低延迟，又补上全局建模的短板；
- 室内服务机器人：普遍用轻量化的卷积+Transformer 混合模型，兼顾近距离避障的实时性和全局地图构建的准确性。
卷积的优势在小数据、低算力、结构化场景，短板是长距离关联的效率；ViT 的优势在大数据、复杂关联、多任务统一，短板是小数据过拟合和算力成本。两条曲线的交点，恰好落在今天工业界最需要的地方——所以它们不是对手，是搭档。
科研层面还在继续压 Transformer 的运算效率，工业层面则会继续保留卷积的轻量优势。接下来真正值得关注的，不是某个架构胜出，而是混合设计怎么把两者的边界划得更合理。
