读这篇论文之前，我脑子里的3D多目标跟踪还停留在很工程化的流水线上：检测模型输出3D框，跟踪模块做匈牙利关联，卡尔曼滤波平滑一下，遇到遮挡就靠轨迹预测硬顶。这套模式在简单场景确实够用，可一旦落到自动驾驶这种传感器多、目标杂、场景稠密的真实环境，问题就全暴露了。这篇2020年的论文给出的解法，不是把某一环修得更强，而是把整条流水线揉进一个概率模型里，用贝叶斯推理统一求解目标的3D状态、数据关联和检测不确定性——这是我读完后印象最深的地方。
这篇论文的价值在于提供了一个“多模态融合+多目标跟踪+不确定性建模”的统一视角。它适合这样的人读：已经在做2D或3D跟踪，想往多传感器方向走；或者对传统pipeline式MOT的误差累积感到头疼，想找个更优雅的框架。我会把论文的核心思想、方法拆解、训练推理细节，以及我自己复现时遇到的坑一起写清楚。
1. 这篇论文要解决的问题：多模态3D跟踪为什么难
1.1 传统跟踪pipeline的短板
先说说传统做法的问题，否则你体会不到这篇论文在“革谁的命”。
经典的tracking-by-detection流程大致是：每帧跑检测器，拿到一组带类别和坐标的框；然后把这些框和历史轨迹做数据关联，常见做法是用匈牙利算法贪心匹配IoU或者距离；匹配完了用卡尔曼滤波更新轨迹状态；轨迹在连续几帧没匹配上就销毁。这套流程在车辆稀少的高速场景确实稳定，但自动驾驶面对的是城市复杂路口，问题会一层层叠加。
第一层是误差传递。检测器偶尔漏检、误检，关联环节拿到的是已经带噪声的检测结果，却往往把置信度当作框质量的唯一依据。一旦漏检，轨迹就掉帧，卡尔曼滤波器只能靠运动模型外推，外推两次轨迹就飘了。第二层是传感器视角割裂。相机检测在2D图像空间给出类别和中心点，激光雷达在3D点云空间给出几何尺寸和位置，两者的信息本质上是异构的，简单把2D检测反投影到3D时深度一错，整条轨迹就偏了。第三层是数据关联的不确定性被抹平了。传统关联输出的是一个确定性的“匹配/不匹配”结果，可实际上目标在遮挡、密集交错时，匹配关系天然就是模糊的。
这篇论文对这些问题给出的回答是：不要把检测、关联、状态估计当作三个独立模块，而是把它们统一成一个概率模型的推理问题。所有环节的不确定性都显式表达，最后输出的不是一条“点估计轨迹”，而是带协方差的分布，这才符合自动驾驶对安全性的要求。
1.2 多模态的真正价值在互补
多模态融合本身不是新概念，但多模态融合到底融什么、怎么融，论文给了一个很清晰的切入角度：互补能力。
激光雷达对3D几何位置、尺寸、朝向的估计天然精准，这在近距离和中距离尤其明显。它的3D检测框是直接在点云坐标系里回归出来的，天然带有空间语义。相机则在远距离目标类别判别上更强，纹理信息在目标较小、点云稀疏时不依赖几何形状也能分类。也就是说，LiDAR告诉系统“那里有个东西，大小大概是多少，在哪里”，相机告诉系统“那是辆车，而且看纹理是轿车不是货车”。
这两类信息如果以硬投票或简单加权方式融合，收益相当有限，因为它们的置信度随场景变化很大：近处点云密集，LiDAR主导；远处点云稀疏，相机分类占优；雨雪天气点云噪点变多，图像也会退化。固定的融合权重根本无法覆盖所有工况。概率化融合的好处是把“当前这个检测有多可信”变成模型的一部分，让系统根据传感器的实时置信度自适应地调节信任比例。
这恰好是这篇论文思路的主干：所有检测都带着自己的不确定性分布进入融合层，而不是只丢一个框坐标进去。
1.3 概率视角能带来什么
我自己的理解是，概率化带来的最大改变是把问题从“求最优解”变成“求后验分布”。
具体来说，传统方法在每一步都希望得到唯一的关联结果和唯一的状态估计。概率模型则定义一个联合后验分布，覆盖所有可能的目标状态、所有可能的关联变量，然后通过贝叶斯推断来求解这个分布或它的近似。这样做有三个直接收益。
第一，模糊关联被保留而不是被迫二值化。两个目标交错时，它们共享观测点的概率同时存在，模型允许“等后面证据更强再确认归属”，而不是当下做一个硬决策然后无法修正。第二，状态估计自带不确定性，下游模块（规划、控制）可以直接消费这个协方差，做碰撞风险估计时不会只拿一个“点”。第三，多模态融合有了自然的概率解释，每个传感器的观测都可以写成条件概率的形式，权重的高低完全由数据和噪声模型决定，而不是人为拍脑袋设的超参数。
这三个收益对于自动驾驶场景意义都很大。论文把这些整合进一个可学习的深度概率模型里，既有传统贝叶斯滤波的严谨性，又借助神经网络获得了端到端学习的表达能力。
2. 方法框架：如何把检测、关联、状态估计统一起来
2.1 整体概率模型长什么样
论文的核心是把多目标跟踪构建成一个生成式概率模型。看起来玄乎，其实思路可以这么理解：假设在某个时刻，场景里真实存在若干目标，每个目标都有自己的运动状态（3D位置、速度、朝向、尺寸）。这些真实目标通过传感器观测，产生了我们实际看到的图像检测框和点云检测框。跟踪问题就成了：根据观测，反推真实目标的状态和目标的个数。
那数据关联在哪里出现？因为系统不知道哪一帧BBox是由哪个真实目标生成的，所以在生成过程中就要引入一个关联变量——也就是“某个检测结果对应某个真实目标或者对应误检/新目标”的隐变量。这样一来，整个模型的联合分布就可以写成一个分解形式：
代简洁表示就是：目标状态序列的先验分布，乘以每个时刻检测结果在给定目标状态和关联变量下的似然，再乘上关联变量的先验，最后对所有变量一起做后验推断。
所有参与者包括：目标运动状态变量、检测观测变量、关联指示变量、轨迹生命周期变量（新目标出生和旧目标消亡）。把这些变量放到概率图里去理解，就是一张带时间边的动态因子图。论文在这个图上用贝叶斯推断去求解目标状态的后验边缘分布。
这个建模方式的优雅之处在于，多模态体现在似然项里——相机检测和LiDAR检测都有各自的似然函数，它们被同一个目标状态驱动，因此融合不是拼接特征，而是在概率层面的观测一致性约束下自然发生。
2.2 观测与状态的定义
论文里的目标状态类型覆盖了自动驾驶常见障碍物。我复述一下自己理解的状态向量表示方式。
核心状态一般包含3D位置、3D尺寸、朝向角和速度。为什么要带朝向角？因为自动驾驶场景里，车辆目标是有方向的，一个矩形框如果不带朝向，后续做轨迹预测（比如预测切入）根本无从谈起。尺寸也需要显式建模，因为不同类别目标尺寸差异巨大，车辆、行人、骑手的宽高比完全不同，这些信息对区分目标、判断遮挡关系有直接帮助。
观测端的定义也比较讲究。图像端的检测器输出的2D框、类别置信度，在概率模型里需要转换成一个条件概率表达，表示“给定目标真实状态，生成这个2D框的概率有多大”。点云端的检测器输出3D框，其似然函数直接定义在3D坐标系下，和目标的3D状态在同一空间，几何关系非常清晰。
这里有个很重要的设计点：图像观测和点云观测并不是对同一个目标状态的独立观测，因为它们的噪声来源不同。相机的深度噪声随着距离增大急剧膨胀，点云的3D定位噪声相对稳定。论文通过不同似然函数把这种差异编码进模型，融合时自然体现出不同传感器在不同距离上的可靠性差异。
2.3 变分推断与隐变量求解
理论上后验分布可以写出来，但直接精确求解是不可行的。场景里目标数量动态变化、关联变量组合爆炸，精确贝叶斯推断的复杂度随目标数指数增长。论文采用的是变分推断这个工程上可接受的近似手段。
简单说，变分推断的做法是找一个分布族，用某个更简单的分布去逼近真实后验，通过最小化两个分布之间的KL散度来实现。放在这个模型里，就是对关联变量、状态变量分别设计近似的后验分布，然后迭代优化。
迭代式的求解过程在工程实现上非常像EM算法：先用当前的估计参数去算关联变量的期望归属，再用归属信息去更新目标状态。这种联合迭代跟传统“先关联、后滤波”比起来，关键差异在于它来回多走几步，每一步都在修正另外一边的估计，而不是只走一次就定死。
从机构学习的角度看，模型是多模态感知的输入是原始检测框，输出是带不确定性的最终轨迹。中间可微的推断步骤让梯度可以反传，整个系统是端到端训练的。这一点我在后文单独展开。
3. 多模态融合的实现细节与控制点
3.1 坐标系统一与投影
做任何多传感器融合，第一关永远是标定和坐标系统一。这篇论文虽然核心是概率框架，但工程实现的底层支撑仍然是这一步。
激光雷达检测直接给出3D框，坐标系天然在车体坐标系下。图像检测给出2D像素框，需要通过相机内外参投影到3D，或者在图像平面上和点云检测做关联。论文的思路里有一个关键点：不要求在图像上得到完整3D框，而是把2D检测作为对真实目标3D状态的一个“弱观测”——它的类判别能力强，几何信息弱，但可以作为概率模型里的一条观测链路，和点云的强几何观测互相补充。
我自己在做类似融合时的一个体会是：坐标统一最怕的是投影误差被当成“模型不确定性”。时间同步和标定稍有偏差，相机检测框和LiDAR检测框在世界坐标下就对不齐，概率模型会把这种系统性偏差判断成观测噪声增大，导致整体置信度被拉低。所以复现这类方法之前，先把传感器标定精度测一遍，不然后面所有不确定性数字都是失真的。
从模型设计角度，投影的不确定性也应该建模。像素上的一个框反投影到3D时，深度方向的方差会很大，论文里通过把这类不确定性写进似然函数来处理，这比硬邦邦把一个反投影3D点丢进融合网络里科学得多。
3.2 不确定性驱动的融合机制
这个部分是全篇最值得细读的段落之一。传统传感器融合常用两种做法。第一种是在特征层面直接拼接图像特征和点云特征，让网络自己学融合权重；第二种是决策级的加权平均，人为设定权重或者简单按距离切换。这两种做法本质上都缺少一个全局的信息质量评估，在有传感器故障或者极端工况时容易做出错误判断。
论文的融合机制建立在似然函数之上。每一个传感器检测结果以条件概率形式存在：给定目标状态，相机观测的似然是什么，激光雷达观测的似然是什么。最终的后验是两者似然的乘积，再乘上状态的先验。这个乘法的直觉是：如果某个传感器当前不可靠，它的似然分布就会变得很宽，对乘积的影响自然下降。系统不需要一个人为的“认为谁更可信”的规则，而是让噪声模型说话。
这种自适应融合在长尾场景里尤其有用。比如一个远处的行人，点云只有零星几帧，LiDAR检测器给出的3D框置信度很高，但位置误差其实很大。此时相机的类别判定和二分之一的几何信息仍有效，两个似然相乘后，最终状态估计会偏向几何更稳定的那一侧。这种细粒度的自适应，是简单加权融合做不到的。
3.3 关联变量：概率化的数据关联
数据关联在传统跟踪器里通常是硬决策：给每个检测分配一个轨迹ID，或者标为新目标。这个硬决策在拥挤场景很容易出错，而且一旦错了，后面几帧的状态更新都会被污染，因为确定性决策没有回头路。
论文把关联变量放到联合后验里求解，这是在向不确定性妥协，也是在让系统具备纠正能力。具体来说，一个检测框可能来自现有轨迹，可能来自新出现的目标，也可能是误检。这些可能性在概率框架下都有明确的概率权重。推理过程中，同一个检测可以同时以一定概率被关联到多条轨迹，等到更多证据出现后，概率权重逐渐收敛到某个归属。
从工程角度，这会导致计算量上升，但换来的是鲁棒性。我理解这种方式非常适合中等密度以上的城市道路场景：车辆排队转弯、行人扎堆过马路时，传统硬关联几乎必错。概率关联允许“先模糊着，再慢慢明确”，这个自由度对整体跟踪质量的提升非常明显。
这里需要提醒一点：概率关联做得好不好，和检测器的置信度是否校准关系极大。检测器输出的置信度如果只是相对分数而不是真实的概率估计，那么后面所有概率计算都会受到影响。这也是论文给了独立置信度估计模块而不是简单用分类Softmax输出的原因。
4. 训练、推理与评估的要点
4.1 端到端训练时的损失设计
论文把概率模型、变分推断和神经网络特征提取全部打通，实现了端到端训练。这个设计初看很激进，细想是合理的：因为整个目标是优化跟踪质量而不是单帧检测质量，所以反向传播应该贯穿关联和状态更新环节。
训练时整体损失可以拆成几个层级。最底层是观测似然损失，衡量给定目标状态下生成当前检测框的概率；往上是关联损失的变分近似，鼓励关联变量后验分布逼近真实匹配关系；最上层是轨迹损失，拉近目标状态估计和轨迹真值之间的距离。每个层级的梯度都要传导到前级的特征提取器，这需要中间推断过程完全可微。
我自己读到这里最关注的一点是：训练时如何处理轨迹生命周期。目标数量动态变化意味着关联变量的数量不是固定的，损失函数必须在变长变量集合上定义。论文处理方式是从概率模型本身的边缘似然出发，把新目标出生和旧目标消亡作为变量纳入联合分布，这样损失函数自然涵盖目标增减路径。
由于训练数据里自动驾驶场景占比很高，标注成本也很大，作者在实验中说也用了仿真数据做预训练，再用真实数据微调。我在实践中发现这个策略确实值得借鉴，纯真实数据训练概率模型，对长尾运动模式的覆盖率往往不够。
4.2 在线推理流程
端到端训练完之后，在线推理得保持实时性。论文的实际推理流程可以用一个伪主循环来描述，核心是在线贝叶斯滤波加变分更新的交替迭代：
# 多模态概率跟踪主循环（简化版） for t in range(total_frames): # 1. 预测阶段：所有活跃轨迹按运动模型前向传播 for track in tracks: track.pred_state, track.pred_cov = motion_predict(track) # 2. 多模态观测读取 det_camera = camera_detector(frame_image) # 2D检测 + 类别置信度 det_lidar = lidar_detector(frame_points) # 3D检测 + 几何状态 # 3. 在概率模型里计算检测和轨迹之间的关联权重 assoc_probs = associate_probabilistic(tracks, det_camera, det_lidar) # 4. 变分更新：用关联权重对每个轨迹做加权状态更新 for track in tracks: track.updated = variational_update(track, det_camera, det_lidar, assoc_probs) # 5. 轨迹生命周期管理（新生、消亡按阈值处理） tracks = manage_track_lifecycle(tracks, assoc_probs)这里第3步和第4步之间会做多次迭代，一般两到三轮就能收敛到合理的近似精度。工程上这个迭代次数是个关键调参项，迭代太少关联不够准，迭代太多实时性崩掉。我用类似框架时通常设2轮迭代，第一轮用上一帧后验做初始关联，第二轮更新状态后重新计算关联权重，效果已经比单轮好很多。
推理时还需要维护每条轨迹的协方差矩阵。它既代表跟踪系统对目标位置的信任度，也是下游规划模块需要的输入。这一步是纯传统贝叶斯滤波带来的福利，在多传感器融合场景里并没有丢失，而是被吸收进了概率模型。
4.3 评测指标的读法
自动驾驶3D多目标跟踪的评测体系和普通MOT不完全一样，读实验部分前需要先把指标口径搞清楚。
常用指标包括：
- AMOTA：多目标跟踪准确率的平均化版本，核心思想是看轨迹估计和真值之间的匹配质量，对漏检和误检都很敏感。
- AMOTP：多目标跟踪精度的平均化版本，衡量匹配上的轨迹位置误差。
- MOTA、MOTP：经典多目标跟踪指标，MOTA综合考虑漏检率、误检率、轨迹切换次数。
- ID Switch：目标ID错误切换次数，ID切得越少说明轨迹一致性越好。
论文实验里多模态和单模态相比，AMOTA提升主要来自漏检率的下降——因为两个传感器的检测互为冗余，一个传感器漏了，另一个还能接住。ID Switch减少则要归功于概率关联的纠错能力，遮挡恢复后的轨迹ID更稳定。
我建议读实验部分时别只盯绝对值，重点看相对差距和消融。多模态对单摄像头的优势，比多模态对单LiDAR的优势更明显，这间接说明了图像对三维定位能力的缺陷，也表现了点云对几何估计的关键作用。
4.4 消融实验我能读出什么
论文的消融实验拆了几个维度：多模态有无、不确定性是否参与融合、联合推断还是分离式推断、变分迭代次数。
其中“不确定性是否参与融合”这组实验值得反复琢磨。模型既可以用概率权重自适应融合，也可以退化成固定权重加权——实验结果非常直观地说明自适应融合是收益的大头。这本质上是因为固定权重的多模态融合在不同距离下的表现差异巨大，一个固定的“图像权重0.3、点云权重0.7”在远距离和近距离里都不可能同时最优。
变分迭代次数这组实验暴露了效率和质量的最佳平衡点。迭代一次和迭代两次差距明显，第二轮的关联确认能纠正很多遮挡场景的误匹配；但迭代到四轮以上收益趋于饱和，计算开销却线性增长。这个结论对工程落地有直接指导意义，不必追求“直到收敛”，两次到三次就是性价比最优的甜区。
5. 从论文到工程：我的复现与实践复盘
5.1 复现的关键环节
我最想对打算复现这篇论文的朋友说的是：论文的核心代码链路不算特别长，难的是把多模态数据依赖和训练流程搭起来。
首先是数据预处理。图像检测和点云检测来自不同的模型，两个检测器都有自己的时间延迟和推理频率。做数据对齐时，不能简单按帧号匹配，要用传感器时间戳做插值，否则概率模型里的“同一时刻观测”假设就不成立。这个细节我在初步复现时没注意，跟踪精度掉了好几个点，后来改成时间戳插值对齐才恢复正常。
其次是标定精度对概率模型的影响。相机内参、外参、LiDAR到车体的外参，任何一处标定误差都会在似然函数中体现。尤其要注意的是，相机和LiDAR之间的时间同步偏移会造成目标位置在不同传感器观测中的固定偏差，这个偏差非常容易污染不确定性估计。建议在复现前用标定板做一次联合标定验证，而不是直接使用出厂参数。
最后是训练时负样本构造。误检目标在概率模型里被当作噪声来源建模，训练数据里得有误检样本和真实目标的样本，两者比例需要基本均衡，否则模型会把误检的高概率分布学得很好，真实目标却只学到平庸的置信度。
5.2 容易踩的坑
我把自己踩过的和听同行聊过的坑整理成一个清单，做这类概率跟踪方法的朋友基本都会遇到。
检测器置信度未校准。深度模型输出的Softmax概率和真实匹配率经常有明显偏差，直接拿来当似然会系统性高估或低估。可以加一层基于验证集的温度缩放校准，效果立竿见影。
轨迹初始化阈值设置不合理。概率模型里新目标出生的判断依赖后验概率阈值，阈值太低会满天飞虚警轨迹，阈值太高会漏掉真实新目标。建议在多模态融合和单模态两个配置下分别标定，不要共用一组参数。
变分迭代次数固定过高。推理时如果场景非常稀疏，每次迭代带来的收益接近为零，纯属浪费算力。可以设计一个基于关联不确定度的提前停止机制，当关联权重几乎变成硬分配时直接跳出迭代。
对帧率不敏感的运动模型。如果车在低速走走停停，用恒定速度运动模型会产生很大的预测偏差，概率模型必须用足够大的过程噪声覆盖它，否则协方差越来越小，观测一旦出现波动就一直关联不上，最终导致轨迹丢失。
验证集和训练集的交通场景分布差异过大。自动驾驶数据天然高度地域相关，模型在某个城市训练得好不代表换一个城市还能保持同样表现，这个要从多场景数据增强和域适应角度去缓解。
这些坑里，置信度未校算是比较致命的。概率模型的所有计算都建立在似然函数的可靠性上，如果似然本身系统性偏了，后续的关联权重、状态协方差、轨迹生命周期判断全部失真。
5.3 这个方法适合什么场景
每次读完一篇论文我都会问自己：这个东西到底适合放到哪种产品形态里。
这篇论文的概率多模态跟踪框架，我认为最适合L3级以上自动驾驶的感知融合模块。这类场景对跟踪稳定性和不确定性要求高，计算资源相对充足，传感器配置也固定，有充足条件去维护复杂的概率模型。
如果目标是做端到端全栈方案，这个思路反而有点重。端到端的模型更倾向于把多模态信息直接作为特征聚合，而不是显式建模分布。不过论文里的概率关联思想，即使是在端到端框架里也有参考价值，它提醒你数据关联的不确定性不能简单用一个Attention机制带过。
还有一个特别适合的场景是目标遮挡频繁的城市道路，而不是高速。高速上目标简单、运动规律，概率关联的优势发挥不出来。城市道路是对多模态融合容忍度最低的场景，对跟踪鲁棒性要求最高，概率模型的多步纠错能力在这里体现得最彻底。
6. 与后来工作的连线
6.1 概率图模型思路的延续
这篇论文发表之后，多模态3D跟踪领域出现了不少延续概率图模型思路的工作。有些把模型从贝叶斯滤波扩展到因子图优化，在滑动窗口内做平滑，时序一致性和定位精度进一步提高；有些引入学习型的运动模型替代恒定速度假设，短时预测精度明显提升。
这些后续工作的共同取向是“在概率骨架里加入更强的学习组件”，而不是放弃概率框架。这说明论文提出的核心竞争力被验证了——概率表达是自动驾驶跟踪这类安全攸关场景的刚需，后续研究者正是在这个基础上不断替换和增强组件。
6.2 后续多模态跟踪的演进
多模态跟踪的另一条演进路线是端到端的可微跟踪框架，典型做法是用Transformer类的注意机制直接建模目标查询和检测特征之间的关联，不再显式区分状态预测和数据关联。这类方法在公开数据集上的指标涨得很猛，训练也更加端到端。
但我在实际操作中体会到，端到端可微跟踪的问题在于不确定性表达不透明，它确实预测了一组置信度，但这些置信度很难直接解释成“轨迹的三维位置协方差”。对下游规划模块而言，这种不可解释的置信度反而难办。所以我自己的观点是，纯粹从建模完备性来看，概率框架仍然更合理，端到端方法更像是工程快速迭代的产物。
多模态融合层面，后续工作也在往“跨模态注意力”方向演进，图像特征和点云特征在统一坐标系下通过注意力动态聚合，融合粒度比这篇论文的似然级融合更细。但这类方法需要处理坐标交叉映射，计算复杂度更高，实时性也是问题。
6.3 我的个人评价与建议
读这篇论文给我最大的启发不是某个网络结构，而是“不确定性”应该被当作联合推理解空间里的一等公民。传统pipeline把不确定性压缩成几个置信度系数，在关联和更新步骤里基本丢弃了；这篇论文则让不确定性全程参与计算，最终输出给下游的也是一个完备的分布，而不是一个孤零零的框。
如果你要实践这套思路，我给三条建议。
第一，先把概率模型沉淀到底再谈性能优化。不要一开始就急着加花哨的模块，先把坐标系、似然函数、变分迭代这些基础组件跑通，观察协方差是否合理，再考虑改进。
第二，紧紧围绕自动驾驶的真实工况做调试。同一套参数在高速和城市环境表现差异很大，多试试遮挡、夜晚、雨天这些长尾场景，它们才是多模态和概率方法的真正卖点。
第三，多模态数据的质量比融合算法重要得多。时间同步、标定精度、检测置信度校准，任何一个基础环节的质量不过关，再强的概率模型也救不回来。
我自己读下来最大的收获其实是视角的改变。以后再遇到多传感器跟踪问题，我会先画概率图而不是先调参数。跟踪问题困局往往不是某一环的传统组件的强度不足，而是各个组件之间的不确定性传导没有得到系统化处理。这篇论文在2020年就把这条路示范了一遍，现在回头看，依然是多模态3D多目标跟踪绕不开的重要参考。
