视觉领域这两年最热闹的事，莫过于把Transformer那套注意力机制从"平方复杂度"的泥潭里往外拽。我最早接触ViT系列模型时，最头疼的就是分辨率一上去，显存和算力就跟坐了火箭一样往上窜——一张高分辨率图切出来的patch数量是平方级增长，自注意力矩阵直接爆炸。后来状态空间模型（State Space Model，SSM）这条线被重新翻出来，尤其是Mamba把选择性机制做进去之后，视觉圈很快就有人问：这套东西能不能搬到图像上？Vision Mamba（简称ViM）就是在这个背景下出现的代表性工作。它想干的事情很直接：用线性复杂度的序列建模能力，替换掉视觉Transformer里那个又贵又吃显存的全局注意力，同时还要保住双向建模的能力，让图像块之间的空间关系不被单向扫描破坏。
这篇内容我打算把ViM从动机到结构、从扫描策略到工程落地，掰开揉碎讲一遍。适合两类人看：一类是刚接触状态空间模型、想搞清楚它到底怎么用在视觉任务上的朋友；另一类是已经在跑视觉backbone、被显存和推理速度卡住、想评估要不要换一套主干的从业者。我不会只贴公式，而是把每个设计选择背后的"为什么"讲清楚，再补上我自己复现和调参时踩过的坑。读完你至少能做到三件事：看懂ViM的结构图、理解双向扫描到底解决了什么问题、知道在自己的项目里上手时哪些参数和细节最容易翻车。
1. 为什么视觉主干需要换一套序列建模思路
1.1 自注意力的平方复杂度到底卡在哪
先把问题摆清楚。标准自注意力里，每个token都要和所有token算相似度，序列长度是N，那注意力矩阵就是N×N。图像切成patch之后，一张224×224的图按16×16切，得到14×14=196个patch，这个规模还能忍；但一旦做密集预测任务，比如分割、检测里常见的高分辨率特征图，patch数轻松上千，N²的增长就非常难受了。我实测过一个中等规模的ViT变体，把输入从224拉到512，显存占用几乎翻了四倍多，推理延迟也跟着涨，这在边缘设备或者实时场景里基本没法接受。
更关键的是，这个平方复杂度不是"稍微优化一下"就能绕过去的，它是自注意力机制的内生属性。你可以用稀疏注意力、局部窗口、线性近似等一堆技巧去缓解，但每一种都在牺牲某种全局建模能力。窗口注意力把感受野限制在局部，跨窗口信息要靠层级堆叠慢慢传；线性近似则在精度上打折扣。所以业界一直在找一条"既线性、又能保留长程依赖"的路。
1.2 状态空间模型为什么突然被视觉圈看上
状态空间模型其实不是新东西，控制论里用了几十年。它的核心是一个隐状态随"时间"（也就是序列位置）演化的微分方程，离散化之后变成递推形式：当前隐状态由上一时刻隐状态和当前输入共同决定，输出再从隐状态读出。这个递推天然是线性的，序列多长，计算量就线性增长，没有N²那一项。
但早期SSM有个硬伤：参数是固定的，不随输入变化，导致它没法像注意力那样"根据内容动态决定关注谁"。Mamba的关键贡献就是引入了输入依赖的选择机制——让离散化步长、状态转移矩阵这些量都变成当前输入的函数。这么一改，模型就能根据token内容选择性地记住或遗忘信息，表达能力一下子逼近了注意力。而且这个选择性机制还能用并行扫描（parallel scan）高效实现，训练时不必真的一个token一个token递推。
我个人的判断是，SSM被视觉圈看上，本质是因为它同时满足了三个条件：线性复杂度、长程建模、硬件友好。这三点恰好是视觉主干最缺的。
1.3 ViM想解决的核心矛盾：单向扫描会破坏图像的空间结构
把Mamba直接搬到图像上，第一个撞上的墙就是方向问题。语言是天然的一维序列，从左到右扫一遍符合语义顺序；但图像是二维的，你把patch拉平成一维序列，无论怎么排，都会人为制造出一个"顺序"，而这个顺序在图像里本来是不存在的。如果只做单向扫描，那序列靠后的patch能看到前面所有patch的信息，靠前的patch却看不到后面的，这种不对称会严重损害空间建模。
ViM的核心设计就是冲着这个矛盾去的：它做了双向扫描，一条从前到后，一条从后到前，两条路径的隐状态各自演化，最后融合。这样每个patch都能同时"看到"两个方向上的上下文，空间关系的对称性被保住了。这个思路听起来简单，但实现上要处理好两条路径怎么合并、位置编码怎么加、计算量怎么控制，后面会细讲。
2. ViM的整体骨架与关键模块拆解
2.1 从图像到序列：patch embedding这一步的取舍
ViM的输入处理和ViT基本一致：图像切成不重叠的patch，每个patch线性投影成一个token，再加上位置编码。这一步看似平平无奇，但有几个细节值得说。
第一是patch大小的选择。patch越大，序列越短，SSM的线性优势越明显，但空间细节损失也越多。分类任务上16×16是常见起点，密集预测任务往往要更小的patch或者用层级结构。第二是位置编码的形式。ViM用的是可学习的位置编码，而不是固定的正弦编码，原因是双向扫描本身已经引入了某种位置感知，位置编码更多是补充绝对位置信息，可学习的更灵活。
这里有个容易忽略的点：patch拉平成序列时的排列顺序会直接影响单向扫描的效果，虽然ViM用双向扫描缓解了这个问题，但排列方式仍然会影响模型收敛。我复现时试过按行优先和按列优先两种排法，前者收敛略稳一些，推测和图像内容的水平相关性更强有关。这只是经验观察，不是定论，但值得在实验里对比一下。
2.2 Vim Block的内部结构：线性投影、卷积、SSM、门控
一个Vim Block大致可以拆成这么几段：输入先做LayerNorm，然后分两路，一路进线性投影升维，接着过一个深度可分离卷积（或者短卷积），再进SSM做序列建模；另一路做线性投影当门控用；两路逐元素相乘后，再线性投影回原维度，加残差。
这个结构里有几个设计选择需要解释。为什么在SSM前面加卷积？因为SSM本质是沿序列方向做递推，它对局部邻域的结构感知不如卷积直接。加一个短卷积相当于给每个token注入局部上下文，弥补SSM在局部建模上的不足。这个思路和卷积+注意力的混合架构是一脉相承的。为什么用门控？门控机制（类似GLU）能让模型动态调节信息流，实践中对稳定训练和提升表达都有帮助，这在很多现代主干里已经是标配。
我实测下来，卷积核大小对结果有可见影响。太小（比如1）等于没加，太大又会模糊局部细节，3到5是比较稳的区间。另外门控那一路的激活函数选择也值得试，SiLU在多数配置下表现不错。
2.3 双向SSM的融合方式：加法、拼接还是门控
两条扫描路径算完之后怎么合并，ViM用的是比较直接的方式：把正向和反向的SSM输出做逐元素相加（或者按通道拼接后再投影）。加法实现简单、参数量少，但两条路径的贡献是等权的；拼接保留更多信息但增加维度。我在自己的实验里对比过，加法在分类任务上够用，密集预测任务上拼接或带权融合有时能带来小幅提升，但代价是显存和计算增加。
这里要提醒一句：双向扫描意味着SSM的计算量翻倍，虽然仍是线性复杂度，但常数项不能忽略。如果你的场景对延迟极其敏感，可以考虑只在部分层做双向，浅层单向、深层双向，算是一种折中。
3. 选择性状态空间机制的原理拆解
3.1 连续系统离散化：步长Δ到底在控制什么
SSM的连续形式可以写成隐状态对时间的导数等于状态矩阵乘隐状态加输入矩阵乘输入。要把它用到离散的序列上，得做离散化，常用的方法是零阶保持（ZOH）。离散化之后，状态转移变成矩阵的幂形式，而步长Δ就是控制"每次递推走多远"的关键量。
直观理解：Δ大，意味着这一步的状态更新跨度大，模型倾向于"大步跳着看"，记住的是粗粒度的长程信息；Δ小，则更新细腻，关注局部细节。Mamba的选择性机制就是让Δ随输入变化——遇到重要token时用合适的Δ精细处理，遇到无关token时快速略过。这个机制是Mamba区别于早期SSM的灵魂。
3.2 输入依赖的参数：A、B、C怎么随token变化
在选择性SSM里，状态矩阵A、输入矩阵B、输出矩阵C以及步长Δ都不是固定参数，而是由当前输入经线性投影得到的。具体来说，输入token先投影出Δ、B、C，Δ再经过一个softplus之类的变换保证为正，然后参与离散化。A通常用对角结构或者结构化参数化，保证计算高效。
这套设计的代价是：因为参数随输入变，传统的卷积形式（把SSM等价成一个大卷积核）不再适用，必须用并行扫描算法来算。好在并行扫描在GPU上可以做到接近线性的有效复杂度，训练效率可以接受。我复现时最直观的感受是，选择性机制确实让模型在长序列上的表现明显好于非选择性版本，尤其是在需要"挑重点"的任务上。
3.3 并行扫描为什么能让训练不退化
并行扫描（parallel scan）是一种把递推计算并行化的算法，核心思想是分治：把序列分成两半，分别算局部结果，再合并。这样递推的深度从O(N)降到O(log N)，在GPU上能充分利用并行度。Mamba的高效实现正是建立在这个算法之上。
不过要注意，并行扫描对显存的需求和序列长度相关，序列特别长时中间结果占用不小。实际部署时如果遇到显存瓶颈，可以考虑分块处理或者用更省显存的扫描实现。这块在工程落地时是个实打实的坑，后面会展开。
4. 双向扫描在视觉任务里的实际价值验证
4.1 分类任务上双向与单向的差距
我在几个中等规模的数据集上做过对比：同样的Vim骨架，只保留单向扫描和用双向扫描，分类精度差距是肉眼可见的。单向版本在序列后半段的patch上表现还行，但前半段patch因为看不到后文，特征质量明显偏弱，整体精度掉了一到两个点不等。双向版本把这个不对称抹平了，精度回升，而且训练曲线更平滑。
这个结果其实符合直觉：图像里一个物体可能横跨序列的前后位置，单向扫描会让靠前的部分"信息饥饿"。双向扫描相当于给每个位置都配了前后两个视角，空间建模自然更完整。
4.2 密集预测任务里双向建模的必要性
分类任务对全局信息的需求还没那么苛刻，密集预测才是双向扫描真正显价值的地方。分割、检测这类任务要求每个位置都能获取足够的上下文，单向扫描造成的方向偏置会直接反映在边缘区域和小目标的预测质量上。我观察到的一个现象是：单向版本在图像边界附近的预测明显更毛糙，因为边界patch在序列里往往处于"信息劣势"的一端。
双向扫描在这里的作用不只是补信息，更是恢复空间对称性。图像没有天然的阅读顺序，任何人为顺序都不该成为信息流动的障碍。这一点是我认为ViM设计里最值得肯定的地方。
4.3 和卷积、注意力的混合搭配经验
纯SSM主干在某些任务上未必打得过精心调过的卷积网络或混合架构。我的经验是，ViM更适合作为"长程建模模块"嵌入到已有骨架里，而不是无脑全替换。比如在卷积主干的后几层插入Vim Block，用卷积管局部、SSM管长程，往往能拿到比纯ViM更好的性价比。这种混合思路在工程上更稳妥，也更容易复用现有的训练流程。
5. 上手ViM时的工程细节与踩坑记录
5.1 环境与依赖：并行扫描实现的版本坑
复现ViM第一个拦路虎往往是底层并行扫描的实现。这类算子对CUDA版本、编译器、框架版本都比较敏感，版本不匹配时报错信息还特别晦涩。我的建议是：优先用官方推荐的版本组合，别自己乱升级；如果必须换版本，先跑一个最小demo验证扫描算子能正常前向反向，再上完整模型。我踩过一次坑，框架小版本升级后扫描算子静默出错，前向看着正常，梯度却是错的，排查了大半天才发现是底层实现的问题。
5.2 显存与序列长度的权衡：分块与梯度检查点
序列一长，并行扫描的中间激活占用就上来了。几个实用的缓解手段：一是梯度检查点，用计算换显存，训练时能明显降占用，代价是速度慢一些；二是序列分块，把长序列切成若干块分别处理再融合，但要注意块边界的信息衔接；三是合理设置batch size，别一味求大。我在一张中等显存的卡上跑高分辨率输入时，就是靠梯度检查点才把batch撑到可用规模。
5.3 学习率与初始化：SSM参数比注意力更敏感
这一点是我感受最深的。SSM里的A、Δ这些参数对初始化和学习率比注意力里的投影矩阵敏感得多。学习率设大了，训练早期loss容易震荡甚至发散；初始化不当，Δ的分布跑偏，模型会退化成"什么都记不住"或者"什么都记着"两个极端。我的做法是：Δ相关的偏置初始化要保证初始步长落在合理区间，学习率用warmup慢慢抬，别一上来就用大学习率硬冲。这些细节官方代码里通常有默认值，但换数据集时值得重新调一调。
5.4 位置编码与扫描顺序的联动调试
前面提过扫描顺序会影响收敛，这里补充一个调试技巧：如果你发现模型在某些空间位置上表现异常地差，先检查是不是扫描顺序和位置编码的配合出了问题。可以做一个简单的可视化，把每个patch的隐状态范数画出来，看看有没有明显的方向性偏置。如果有，尝试换扫描顺序或者调整位置编码的注入方式，往往能定位到问题。
6. 把ViM放进真实项目的决策清单
6.1 什么场景适合换ViM，什么场景别折腾
不是所有项目都值得上ViM。适合的场景：输入分辨率高、序列长、对显存和延迟敏感、又需要长程建模的任务，比如高分辨率分割、遥感图像分析、长视频帧序列建模。不适合的场景：小分辨率分类、数据量很小、团队没有底层算子调试能力、现有卷积或轻量注意力方案已经够用。换主干的成本不只是训练，还包括部署、量化、算子适配一整条链路，得算总账。
6.2 迁移与微调策略：从预训练权重出发
如果要用ViM，强烈建议从预训练权重出发做微调，而不是从头训。SSM主干的收敛对数据量和训练技巧要求不低，从头训很容易在中小数据集上欠拟合。微调时可以先冻结浅层、只调深层和头部，稳定后再逐步解冻。学习率用比常规微调更小的值，配合warmup，能少走很多弯路。
6.3 部署侧的现实考量：算子支持与推理优化
部署是很多人忽略的一环。并行扫描算子在推理框架里的支持程度参差不齐，有些框架需要自定义算子，有些对动态序列长度支持不好。上线前一定要在目标推理环境里跑通端到端，别只在训练框架里验证。另外，双向扫描意味着两倍的计算路径，推理延迟要按实际情况评估，必要时用单向+局部增强的方案折中。
我在实际项目里最大的体会是：ViM这类SSM视觉主干，技术上是真有意思，线性复杂度加双向建模确实解决了一些实打实的痛点，但它不是"银弹"。它的价值要在合适的场景、配合合适的工程投入才能兑现。如果你的项目正好卡在长序列建模的显存墙上，它值得认真评估；如果只是跟风换主干，那大概率是给自己找麻烦。选型这件事，永远是把场景、成本、团队能力三样摆在一起算，而不是看哪个模型在榜单上更亮眼。
