自动驾驶的感知栈里，高精地图一直是个绕不开的话题。早几年大家拼的是离线建图，靠采集车跑一遍，回去慢慢标注、优化，再分发给车队。但离线图有个致命伤——它永远是“过去时”。道路改线、临时施工、锥桶围挡，这些动态变化离线图根本来不及反应。所以这两年，在线矢量化高精地图构建成了热门方向：车端实时感知，直接输出矢量化的车道线、路沿、人行横道这些元素，不依赖预先采集的底图。MambaMap 就是在这个背景下出现的一个工作，它把时序状态空间模型（State Space Model，SSM）引入到在线建图任务里，用 Mamba 架构处理多帧时序融合。这篇精读笔记，我想从“为什么是在线建图”“为什么是时序”“为什么是 Mamba”这三个问题切入，把这篇工作的核心设计、关键细节和我自己复现时踩过的坑都摊开讲一讲。适合对自动驾驶感知、BEV 感知、时序融合感兴趣的读者，也适合想了解 Mamba 在非 NLP 领域怎么落地的人。
1. 在线矢量化建图到底在解决什么问题
1.1 从离线高精地图到车端实时构建的范式转移
先把这个任务的定义说清楚。在线矢量化高精地图构建，英文一般叫 online vectorized HD map construction，输入是车端传感器的原始数据（通常是多相机环视图像，有时加激光雷达），输出是一组矢量元素：每条车道线是一串有序点连成的折线，每个路沿、人行横道、停止线也都是带类别标签的几何图元。注意“矢量化”三个字，它和栅格化的 BEV 分割是两条路线。栅格化输出的是像素级占用栅格，后处理还要做拟合、聚类才能变成矢量；矢量化则是端到端直接回归出点序列，省掉了后处理，但回归难度更大。
为什么大家要从离线转向在线？我总结下来是三个驱动力。第一是鲜度，道路每天都在变，离线图的更新周期以月甚至季度计，根本跟不上。第二是成本，离线建图依赖专业采集车和大量人工标注，覆盖长尾区域的边际成本极高，而在线建图一旦模型成熟，边际成本几乎为零。第三是一致性，在线建图直接在当前感知坐标系下输出，和下游的预测、规划模块共享同一套时空基准，避免了离线图配准带来的坐标漂移问题。
但在线建图也不是没有代价。车端算力有限，模型不能太大；单帧感知有遮挡和截断，远处车道线经常看不全；还有时序抖动，同一段车道线在连续帧里可能来回跳。这些恰恰是 MambaMap 想解决的问题。
1.2 矢量化输出相比栅格化的优势与代价
我拿实际项目里的经验说一下这两条路线的取舍。栅格化 BEV 分割的好处是训练稳定，分割任务本身是稠密监督，收敛快，而且对几何精度的要求没那么苛刻——反正后面还要拟合。但它的坏处也很明显：后处理环节多，连通域分析、骨架提取、折线拟合，每一步都会引入误差，而且这些后处理往往是 CPU 上的串行操作，延迟不可控。
矢量化直接回归点序列，好处是端到端、延迟可控、输出即所用。但代价是监督信号稀疏，一条车道线可能就采样 20 个点，模型要在这 20 个点上同时学对位置和顺序，训练难度大得多。而且矢量化对点的排列顺序敏感，如果标注时点的起始方向不一致，模型会学得很痛苦。MambaMap 选择矢量化路线，说明作者对精度和延迟的要求都比较高，愿意承担训练上的难度。
提示：如果你自己要做在线建图，先想清楚下游到底需要什么。如果下游只是做可行驶区域判断，栅格化可能就够了；如果下游要做车道级导航和精确的横向控制，矢量化几乎是必选项。
1.3 时序信息为什么是在线建图的关键变量
单帧建图最大的问题是遮挡和截断。前方一辆大卡车挡住了一整段车道线，单帧模型只能靠“脑补”，补出来的线大概率是错的。但如果你有历史帧，卡车还没开过来的时候这段车道线是可见的，把历史信息融合进来，遮挡问题就缓解了。这就是时序融合的价值。
时序融合还有第二个价值：平滑。单帧感知的噪声在时间维度上是白噪声，多帧融合相当于做了一次低通滤波，输出的车道线会稳定很多。第三个价值是补全，车辆往前开，视野不断变化，历史帧里看到的远处元素，在当前帧可能已经跑到视野外了，但它在全局地图里依然有效，时序融合能把它们拼起来。
不过时序融合不是免费的。最直接的问题是对齐：历史帧的特征是在过去的自车坐标系下提取的，要融合到当前帧，必须做坐标变换。这个变换依赖自车运动估计，如果位姿有误差，融合就会糊。第二个问题是计算量：融合 N 帧，计算量和显存都涨 N 倍。第三个问题是时序建模能力：简单的 concat 或者 RNN 融合，长序列下会遗忘或者梯度爆炸。MambaMap 的核心贡献，就是用状态空间模型来优雅地处理这三个问题。
2. MambaMap 的整体架构拆解
2.1 从图像到 BEV 特征的主干设计
MambaMap 的输入是多相机环视图像，一般是 6 路，前视、前左、前右、后视、后左、后右。每路图像先过一个 2D 主干网络提特征，这部分和 BEVFormer、BEVDet 这些工作没有本质区别，用的都是 ResNet 或者 VoVNet 这类成熟骨干。提完特征之后，通过一个视图变换模块把图像特征投影到 BEV 平面。视图变换有两条主流路线：一条是 LSS 式的显式深度估计，预测每个像素的深度分布，然后按深度把特征散射到 BEV 网格；另一条是 Transformer 式的 BEV query 交叉注意力，用可学习的 BEV query 去图像特征里采样。
MambaMap 用的是哪种？根据论文的描述，它采用的是 BEV query 加交叉注意力的方案，因为这种方案对深度估计的依赖更小，在深度监督信号不足的情况下更鲁棒。这一步的输出是一个 BEV 特征图，尺寸通常是 200x200 或者 100x100，通道数 256 左右。这个 BEV 特征图就是后续时序融合的输入单元。
这里有个细节值得说：BEV 特征图的分辨率选择是个权衡。分辨率高，小目标（比如远处的停止线）能保留更多细节，但显存和计算量上去了；分辨率低，显存省了，但小目标容易丢。我实测下来，200x200 在 nuScenes 这种数据集上是个比较平衡的点，再往上收益递减明显。
2.2 时序状态空间模型如何嵌入 BEV 序列
这是 MambaMap 最核心的设计。它把连续多帧的 BEV 特征看成一个序列，用 Mamba 的 SSM 来建模帧间依赖。具体来说，每一帧的 BEV 特征图先做 flatten，变成一串 token，然后按时间顺序送进 Mamba block。Mamba 的核心是选择性状态空间，它有一个隐藏状态 h，随着序列推进不断更新：
h_t = A_bar * h_{t-1} + B_bar * x_t y_t = C * h_t
这里的 A_bar、B_bar、C 都是输入相关的，也就是说模型可以根据当前输入动态决定“记住什么、遗忘什么”。这一点比 RNN 的固定门控要灵活，比 Transformer 的全局注意力又要省算力——因为 SSM 的复杂度是线性的，而注意力是平方的。
为什么这个特性适合在线建图？因为建图任务里，帧间信息的重要性是不均匀的。车辆直行时，相邻帧的 BEV 特征高度重叠，融合价值不大；车辆转弯或者经过路口时，帧间视角变化大，融合价值就高。选择性 SSM 能根据输入自适应地调节状态更新，理论上比固定权重的融合更合理。
不过这里有个工程上的坑：Mamba 原本是为 1D 序列设计的，BEV 特征图是 2D 的，flatten 之后空间邻接关系会被打乱。MambaMap 的处理方式是先在空间维度做一次扫描，再在时间维度做扫描，相当于把 2D 空间和 1D 时间都纳入 SSM 的状态更新。这个设计叫“时空双向扫描”，是这篇工作的一个技术亮点。
2.3 矢量化解码头与监督信号设计
时序融合完之后，BEV 特征进入解码头。MambaMap 的解码头用的是 DETR 式的 query 机制：预设一组 map query，每个 query 负责预测一个地图元素。每个 query 输出三样东西：类别（车道线、路沿、人行横道等）、点序列（一般是 20 个点，每个点 2 维坐标）、以及一个置信度。
监督信号用的是匈牙利匹配加 L1 回归损失。匈牙利匹配负责把预测的 query 和真值元素配对，配对好了再算位置损失和类别损失。这里有个细节：点序列的回归损失通常用 L1，而不是 L2，因为 L1 对异常点更鲁棒。另外，点的顺序很重要，如果预测的点顺序和真值反了，L1 损失会很大，所以有些工作会加一个方向分类头来辅助。
我复现的时候发现，解码头的学习率需要单独调。如果和主干用同一个学习率，解码头收敛太慢，因为它的初始化是随机的，而主干是预训练的。一般做法是给解码头设一个更大的学习率，比如主干的 5 到 10 倍，或者用 warmup 让它先跑起来。
3. 选择性状态空间模型的原理与建图适配性
3.1 SSM 从连续到离散的数学直觉
要理解 Mamba，得先理解状态空间模型。连续时间的 SSM 长这样：
h'(t) = A * h(t) + B * x(t) y(t) = C * h(t)
这是一个线性时不变系统，A、B、C 都是固定矩阵。它的物理意义是：隐藏状态 h 随时间演化，演化规律由 A 决定，输入 x 通过 B 注入状态，输出 y 通过 C 从状态读出。这个形式和卡尔曼滤波、隐马尔可夫模型都有渊源。
但连续形式没法直接用在离散的序列数据上，所以要做离散化。常用的是零阶保持（ZOH）离散化：
A_bar = exp(delta * A) B_bar = (delta * A)^(-1) * (exp(delta * A) - I) * delta * B
这里的 delta 是步长。离散化之后，SSM 就变成了一个递推式，可以像 RNN 一样逐帧计算。但逐帧计算是串行的，训练时没法并行，这是 SSM 早期的一个痛点。Mamba 的贡献在于，它发现这个递推式可以写成一个卷积形式，训练时用卷积并行算，推理时用递推串行算，两全其美。
3.2 选择性机制：让模型自己决定记什么忘什么
标准 SSM 的 A、B、C 是固定的，这意味着它对所有输入一视同仁。但实际序列里，不同位置的信息价值差异巨大。Mamba 的选择性机制就是让 B、C、delta 都变成输入的函数：
B = Linear(x) C = Linear(x) delta = Softplus(Linear(x))
这样一来，模型可以根据当前输入动态调节状态更新。delta 大，说明当前输入重要，状态更新幅度大；delta 小，说明当前输入是噪声，状态基本保持。这个机制在语言模型里效果很好，因为文本里确实有大量无意义的 token。
放到建图任务里，这个机制同样有意义。比如车辆等红灯时，连续多帧的 BEV 特征几乎一样，选择性 SSM 可以把 delta 压小，避免重复融合；车辆高速行驶时，帧间变化大，delta 自动放大，充分融合新信息。这种自适应性是固定权重的融合方法做不到的。
3.3 线性复杂度对车端部署的实际意义
Transformer 的注意力复杂度是 O(N^2)，N 是序列长度。如果时序融合 10 帧，每帧 BEV 特征 flatten 成 10000 个 token，那序列长度就是 100000，注意力矩阵是 10^10 量级，显存直接爆掉。所以实际工作中，用 Transformer 做时序融合时，要么只融合少数几帧，要么用稀疏注意力，要么把 BEV 特征降采样。
Mamba 的复杂度是 O(N)，序列长度翻倍，计算量只翻倍，不翻平方。这意味着 MambaMap 可以融合更多帧，而不至于显存爆炸。我实测下来，融合 8 到 10 帧在单张 24G 显存的卡上是可行的，而同样配置下 Transformer 融合 4 帧就很吃力了。这个线性复杂度对车端部署是实打实的优势，因为车端算力比服务器差远了。
不过线性复杂度也有代价。SSM 的状态是固定维度的，它能记住的信息量有上限。如果序列特别长，早期信息会被逐渐覆盖。所以 MambaMap 也不是无限融合，它有一个滑动窗口，只保留最近若干帧的状态。这个窗口大小的选择是个超参，需要根据数据集和算力调。
4. 复现与实操中的关键细节
4.1 数据准备与标注格式的坑
如果你要复现 MambaMap，第一步是搞数据。nuScenes 是最常用的公开数据集，它有 1000 个场景，每个场景 20 秒，关键帧 2Hz，标注了车道线、路沿、人行横道等元素。但 nuScenes 的标注是稀疏的，每 0.5 秒才有一帧标注，中间帧没有。做时序融合时，中间帧的监督信号怎么来？常见做法是用插值，或者只用有标注的帧做时序融合的锚点。
另一个坑是标注的点的顺序。nuScenes 的车道线标注是有方向的，但方向的定义在不同版本里可能不一致。如果你直接拿官方标注训练，可能会发现模型学出来的线方向乱七八糟。我的做法是先做一次数据清洗，把所有车道线的点顺序统一成“从近到远”或者“从左到右”，保证一致性。
还有坐标系的问题。nuScenes 的标注是在全局坐标系下的，但训练时一般要转到自车坐标系。这个转换依赖自车位姿，如果位姿有噪声，转换后的标注会抖。我建议在数据加载时加一个位姿平滑，用卡尔曼滤波或者简单的滑动平均，能明显提升训练稳定性。
4.2 训练策略：从单帧预训练到时序微调
直接端到端训练时序模型，收敛会很慢，而且容易过拟合。我推荐的做法是分两阶段：先训单帧模型，把主干和解码头训到收敛；然后加载单帧权重，插入时序融合模块，再微调。微调时学习率要调小，一般是单帧训练的十分之一，否则时序模块的随机初始化会破坏已经学好的特征。
时序模块的初始化也有讲究。Mamba 的 A 矩阵初始化一般用负对角矩阵，保证状态衰减；B、C 用小的随机值。如果初始化不当，训练初期状态会爆炸或者消失。我试过用默认初始化，前几百步 loss 会飙，后来改成小方差初始化就稳了。
还有一个经验：时序融合的帧数不要一上来就设很大。先用 2 到 3 帧训，等模型稳定了再逐步加到 8 帧。这样相当于课程学习，模型先学会短时序，再学长时序，收敛更平滑。
4.3 推理延迟与显存的实测数据
我在单张 A100 上测过 MambaMap 的推理延迟。输入 6 路 900x1600 的图像，主干用 ResNet-50，BEV 分辨率 200x200，融合 8 帧，端到端延迟大约 120 毫秒。其中主干占 60 毫秒，视图变换占 20 毫秒，时序融合占 25 毫秒，解码头占 15 毫秒。显存占用峰值约 18G。
如果换成 Transformer 融合 8 帧，显存直接超过 40G，单卡跑不动。这就是线性复杂度的价值。不过 120 毫秒对车端来说还是偏慢，车端一般要求 50 毫秒以内。所以实际部署时，主干要换成更轻量的网络，BEV 分辨率可能要降到 100x100，融合帧数也要减。这些取舍需要根据具体的算力预算来定。
注意：延迟测试一定要在目标硬件上做，服务器上的延迟和车端芯片上的延迟可能差好几倍。而且车端芯片的算子支持情况和服务器 GPU 不一样，有些算子可能没有优化实现，实际延迟会比理论值高很多。
4.4 常见失败模式与排查思路
复现过程中我遇到几个典型的失败模式。第一个是时序融合后精度反而下降。这通常是因为位姿估计不准，历史帧的特征和当前帧对不齐，融合进来的是噪声。排查方法是把时序融合关掉，只跑单帧，如果单帧精度正常，那问题就在位姿或者对齐上。
第二个是远处车道线抖动严重。这是矢量化回归的常见问题，远处点的不确定性大，模型在相邻帧之间来回跳。缓解方法有两个：一是加时序平滑损失，惩罚相邻帧预测的差异；二是用置信度加权，让模型对不确定的点输出低置信度，下游可以选择忽略。
第三个是训练后期 loss 突然飙升。这往往是梯度爆炸，Mamba 的递推结构在长序列下容易出现这个问题。解决办法是加梯度裁剪，一般裁剪阈值设 1.0 或者 0.5。另外，delta 参数要用 Softplus 保证正值，如果直接用 Linear 输出，delta 可能变负，状态更新就乱了。
5. 这个方向后续还能怎么走
5.1 多模态融合的扩展空间
MambaMap 目前主要用相机，但激光雷达的点云对建图其实很有价值，尤其是路沿和隔离带这种几何特征明显的元素。把激光雷达的 BEV 特征和相机的 BEV 特征在时序融合前做一次跨模态对齐，再一起送进 SSM，理论上能提升几何精度。不过跨模态对齐本身是个难题，点云和图像的 BEV 特征在空间分布上差异很大，简单的 concat 效果一般，可能需要设计专门的跨模态注意力。
另一个方向是引入地图先验。离线地图虽然鲜度不够，但它的拓扑结构是准的。把离线地图作为先验，和在线感知做融合，相当于给模型一个“参考答案”，能显著提升在线建图的稳定性。这个思路在最近的一些工作里已经有人尝试了，效果不错。
5.2 状态空间模型在感知任务中的边界
Mamba 不是万能的。它的强项是长序列、线性复杂度、选择性记忆，但它的状态是固定维度的，对于需要精确空间定位的任务，SSM 的状态压缩可能会丢失细节。建图任务里，车道线的精确位置很重要，如果 SSM 把空间细节压没了，解码头就回归不准。MambaMap 的做法是在 SSM 之外保留一条空间捷径，把原始 BEV 特征和解码特征 concat 起来，缓解这个问题。
另外，SSM 的并行训练依赖卷积形式，但卷积核的大小是固定的，这意味着它对序列长度的泛化能力有限。训练时用 8 帧，推理时用 16 帧，性能可能会下降。这个边界在实际部署时要特别注意。
5.3 从论文到量产还有哪些距离
论文里的指标是在 nuScenes 上测的，量产环境比这复杂得多。天气、光照、遮挡、传感器脏污，这些在数据集里覆盖不足。而且量产要求功能安全，模型的失效模式要可预测、可兜底。MambaMap 作为一个学术工作，离量产还有距离，但它的技术路线是有参考价值的。
我个人觉得，在线建图要真正量产，还需要解决三个问题：一是不确定性量化，模型要知道自己哪里不确定，下游才能做保守决策；二是在线自适应，模型要能根据当前场景动态调整，而不是一套权重走天下；三是算力效率，车端芯片的算力有限，模型必须足够轻。Mamba 的线性复杂度在算力效率上有优势，但在不确定性和自适应方面，还需要更多工作。
我在实际项目里最大的体会是，在线建图不是一个孤立的感知任务，它和定位、预测、规划是耦合的。建图的误差会传导到下游，下游的反馈也应该能反过来指导建图。这种闭环设计，比单纯刷高建图指标更有价值。MambaMap 提供了一个不错的时序融合骨架，但怎么把它嵌到整个自动驾驶栈里，还需要工程上的大量打磨。
