从激光雷达到LOFIC纯视觉：智能驾驶传感器架构演进与工程实践

去年我在给一台方案车做传感器融合调试时，组里争论最多的一个话题就是：激光雷达到底还要不要留。那台车上装了1颗128线激光雷达、5颗毫米波雷达、6颗摄像头，标定和融合的工时能占整个项目的一半以上。结果过了一个季度再看行业趋势，风向已经全变了，小鹏直接把激光雷达从主销车型上拿下，推出了AI鹰眼纯视觉方案，核心卖点里写着一行字：“LOFIC技术加持下，摄像头足够替代激光雷达”。这不是简单的配置调整，而是整个传感器架构的逻辑变了。

先给不熟悉这套打法的人补个背景。前几年的智驾方案，基本都长一个样：视觉负责识别车道线和交通标识，激光雷达负责给障碍物点云和深度，毫米波雷达负责测速和补盲，超声负责近距泊车。硬件越多，标定越麻烦，出故障的概率也越高。小鹏上一代方案就是这种“全家桶”，12个摄像头、多个雷达加两颗激光雷达，算力硬件与传感器成本都拉得很满。但到了AI鹰眼这一代，最核心的变化是：激光雷达被彻底拿掉，超声数量也做了精简，感知的主力全部落到摄像头身上，并且通过LOFIC传感器去解决传统视觉最头痛的动态范围和强光抑制问题。

这里需要先理清一个关键问题：为什么过去不敢拿掉激光雷达，而今天可以？因为激光雷达的价值，本质上是提供“可靠的深度信息”和“不受光照影响的物体几何轮廓”。在此之前，摄像头在这两件事上都打不过激光雷达——白天逆光、夜晚大灯照射、隧道出入口这种忽明忽暗的场景，普通车载摄像头很容易过曝或欠曝，目标一丢，后面跟着的感知算法再牛也无济于事。所以，想要用纯视觉方案，第一条硬门槛不是算法，而是图像传感器要先“看得清”。LOFIC技术解决的，恰恰就是这件事。

AI鹰眼方案的实际意义，不只是省掉一颗激光雷达的成本。从系统工程的角度看，它改变的是整车的传感器拓扑、数据采集格式、算法输入分布，甚至包括工厂产线上的标定工序。激光雷达一旦不在配置单上，供应链复杂度降一档，装配一致性问题少一类，驾驶时的供电、散热、振动可靠性问题也跟着减少。这本质上是把智能驾驶的感知链路从“跨传感器融合”拉回到“图像深度估计+BEV网络”的纯视觉架构上，整个技术栈随之变得更可控、更便宜，也更适合大规模量产。

有人会问，这会不会是厂商为了降本而牺牲性能？我倒觉得，这更像是一次“算力过剩”带来的能力迁移。过去视觉算法弱，是因为芯片不够强，点云和图像可以在传统算法框架下直接融合，勉强够用。现在大算力平台纷纷上车，端到端网络和大模型普及，算力洼地已经被填平，反而传感器的“物理感知上限”成了瓶颈。于是大家回头发现，只要把摄像头本身的成像极限突破，纯视觉路线其实是比激光雷达更优雅的方案。这就是小鹏AI鹰眼方案选型背后的基本盘。

1. 这个方案解决的是什么问题：智能驾驶传感器方案的“做减法”之战

1.1 核心需求拆解：不只要“看得见”，还要“看得懂”

如果只看表面，AI鹰眼方案解决的问题好像是“用摄像头替代激光雷达”。但落进工程里，真正的需求列表要细得多。我从实际项目里总结下来，至少包含这么几条：

第一，提升成像动态范围，让摄像头在强光、逆光、夜晚等极端场景下都能保留有效信息。普通车载CMOS的动态范围一般做到100dB以下，遇到大灯直射或隧道口这种场景，要么高光一片白，要么暗部一团黑，算法根本没法工作。LOFIC传感器把单帧动态范围往上推了一截，相当于把相机从“人眼眯起看强光”变成了“戴着墨镜看强光”，信息量完全不一样。

第二，降低运动伪影和果冻效应。传统HDR靠多帧合成扩展动态范围，但车在高速运动时，多帧之间场景变化剧烈，合成结果容易出现鬼影、拖尾。纯视觉方案如果在这种伪影上翻车，那还不如不用HDR。所以必须选单帧HDR能力足够强的传感器，这就是LOFIC这类“单次曝光宽动态”方案受捧的原因。

第三，感知算法必须从“多传感器联合标定”迁移到“纯视觉深度估计”。去掉了激光雷达，BEV网络里少了一路高精度的真值点云输入，深度信息要靠单目或双目几何恢复。这意味着训练数据里必须加入足够多的立体视觉样本，算法也要能利用时间序列去预测目标轨迹，这跟过去“拿雷达点云直接做目标级融合”的套路完全不同。

第四，系统冗余设计要重做。过去出了Camera故障，还有激光雷达兜底；现在纯视觉方案等于把所有鸡蛋放在视觉这一篮子。车规级功能安全设计要做成什么样，传感器脏污检测、失焦检测、电子防眩目机制如何联动，都是需要重新定义的东西。

别看外面宣传语说得轻巧，真正落到工程上，以上四条每一条都是一大块硬骨头。这也是为什么，LOFIC技术在这个方案里不是锦上添花，而是整个纯视觉路线的地基。

1.2 为什么是LOFIC技术，而不是老一套HDR

在LOFIC被反复提及之前，行业里解决车载高动态成像的主流方案是DOL HDR或类似的多帧合成技术。原理并不复杂：连续拍两帧，一帧短曝光保住高光，一帧长曝光提亮暗部，然后在ISP里把两帧拼成一幅高动态图像。听起来很合理，但车一动起来就有问题——高速跟车的时候，前车刹车灯亮起，多帧合成常常把刹车灯搞成一团模糊的光晕；夜间经过路灯时，亮区和暗区边缘会出现虚影。智能驾驶算法在这种图像上做目标检测，错检漏检的概率会显著升高。

LOFIC的路线不太一样。它是在CMOS像素内部做了一个“横向溢出积分电容”。正常光照条件下，光电子在像素内积累，超过容量的部分会溢出到预设的电容里暂存，而不是直接饱和丢失。这样一个单帧曝光，就能同时记录亮部和暗部的信息，不需要在时间轴上连续拍多帧再合成。用比较通俗的说法：老HDR是“连拍两张拼一张”，LOFIC是“一张底片里自带宽容度”。效果上最直观的区别在于，图像里不会出现因为场景快速变化而产生的拖影断层。

当然，LOFIC也不是天下无敌。它的代价是像素结构更复杂，单个像素面积控制难度更大，对工艺和成本的要求都更高。但从整车方案的角度看，多花在传感器上的钱，跟省掉一颗激光雷达的花费比起来，实在不算什么。这也是小鹏敢于在量产车上选它的核心原因——用更小的成本代价，换一条更简洁、可以扩展的系统架构。

2. LOFIC技术的底层原理：像素里多了一个“蓄水池”

前面说了LOFIC是“横向溢出积分电容”，很多朋友估计还是觉得抽象。我尽量用画图的方式在脑子里还原一下它的工作过程。普通的CMOS有源像素，每个像素主要由光电二极管、传输管、浮动扩散节点和源极跟随器组成。光打在二极管上产生电子，电子聚集到FD节点，再由源极跟随器转成电压信号。问题在于FD节点容量有限，强光下电子瞬间塞满，多余的电子就流失了，这时候不管你怎么调整增益，高光区域都已经“爆”了。

LOFIC技术的关键改进，是在FD节点旁边横着多接一个电容，这个电容的学名叫“横向溢出积分电容”。它的作用就像一个蓄水池：FD节点这个“小池子”满了，水（电子）不会白白流走，而是顺着设计好的沟道溢进旁边的“大池子”里暂存。等读出的时候，系统把两个池子的电荷一起读取、一起计算，相当于把像素的“电荷容量”瞬间扩大了好几倍。因为容量大了，同一个像素能够覆盖的亮度范围就宽得多，高光不过曝，暗部也能保留，动态范围自然就上去了。

这个设计与传统的DOL HDR相比，最大的优势在于“单帧”这两个字。单帧意味着在一段时间里只做一次曝光，场景怎么动都不会产生时间错位。而多帧HDR的瓶颈恰恰在于时间错位：相机动、目标动、光源动，三次曝光捕捉到的画面并不来自同一时刻，合成时就会产生鬼影。LOFIC方案不存在这个问题，传感器拿到的是同一个瞬间进光量的完整信息，后续不管做目标检测还是BEV融合，图像的时间一致性都更好。

从规格参数上看，车规级LOFIC传感器的动态范围通常可以做到120dB以上，周围环境从一百多到十万lux的变化，都能被同一个像素几近无损地记录下来。举两个实际场景：一个是夜晚对向来车开着远光灯，传统传感器会看到一圈巨大的光晕，目标车头部分完全看不见；LOFIC方案里光晕被压缩到很小的区域，车头边缘轮廓依然清晰可辨。另一个是隧道出入口，一进一出光线变化能达到好几个数量级，普通传感器的自动曝光算法来回切换，画面会闪好几帧，LOFIC传感器可以让这个切换过程平滑很多，算法不会出现阶段性盲视。

我更想强调的是，LOFIC并不只是为了晚上看得清。智能驾驶对图像动态范围的需求，本质上是对“信息不丢帧”的需求。白天在树荫和阳光交错的道路上，阴影里的行人、强光下的红绿灯、隔着玻璃闪着反光的侧面来车，这些目标在传统图像里经常被压扁成黑块或白块。LOFIC让这些目标细节保留下来，算法才谈得上识别。这类场景单独拿出来看不像夜间大灯那么惊心动魄，但它在每天的通勤路况里广泛存在，是纯视觉系统保持全天候稳定性的基础。

2.1 动态范围背后的物理与工程权衡

这里稍微展开一点，聊一聊动态范围的物理含义和工程权衡，方便大家以后看参数表的时候不踩坑。动态范围的本质是同一个像素能够同时容纳“最亮信号”和“最暗信号”的能力，一般用dB表示，计算公式是20乘以log10(最大不饱和光强除以最小可检测光强)。也就是说，动态范围越高，一个画面里亮到极致和暗到极致的地方都能记录下细节。

传统的DOL HDR把动态范围做大，主要靠多帧。但多帧带来三个问题：运动伪影、噪声增加、数据量翻倍。LOFIC把动态范围做大的方式，是在单像素里增加电荷存储能力，相当于直接提高“最大不饱和光强”的上限，而不是靠叠加多帧来平均。这样动态范围提升是实打实的，不伴随时间上的妥协。

但工程上也有代价。像素里加电容，意味着像素面积和版图复杂度都上去了，一片传感器上能排的像素总数可能要打点折扣，或者需要更先进的工艺来弥补。对于智驾场景来说，这个权衡是可以接受的，因为摄像头数量够多，空间分辨率下降一点可以通过重叠视场补回来，而动态范围这个短板如果不能突破，纯视觉方案连门都进不了。

2.2 与ISOCELL等技术的协同定位

这几年CMOS传感器圈子里，大家经常听到的还有ISOCELL、RGBW四合一、近红外增强之类的名词。ISOCELL通过在像素之间加物理隔离墙，减少串扰；四合一像素则是在不损失灵敏度的情况下提升感光速度。LOFIC跟这些技术并不是竞争关系，而是可以叠加的改进维度。一套完整的车规级传感器，往往是LOFIC电容加上像素隔离墙、背照式结构、以及专门为车载场景调优的暗电流截止技术一起工作。

这里多说一句车载传感器的选型细节。车规级设备跟手机传感器的要求区别非常大：工作温度范围要覆盖-40到105摄氏度，可靠性标准要满足AEC-Q100规范，使用寿命要达到十年以上，还要应对太阳直射、大灯照射、抖动、水雾等环境。手机上吹上天的像素数，在车载面前没有那么重要。真正重要的反而是动态范围、暗电流、串扰、快门效率和车规认证这几项，用不用LOFIC来作为筛选标准，其实只是评估的第一步。如果你手头也在做视觉感知的硬件选型，建议把传感器数据手册里“Full Well Capacity”和“Dynamic Range”两栏先拉到Excel表对比，再看像素工艺和封装，顺序不要搞反。

3. 从激光雷达到纯视觉的架构演进

3.1 去掉激光雷达之后，坐标系和标定流程发生了哪些变化

以前的方案里，激光雷达的存在让系统有了一个高精度的三维度量基准。每个点云都自带准确的xyz坐标，摄像头标定只需要做好“把2D图像投影到3D点云上”这个过程，障碍物的距离、尺寸、朝向就都有了。这也是业界常说“激光雷达给予系统几何先验”的原因。问题在于，点云和图像的数据形式完全不同，要做空间对齐和时间同步，需要外参标定、内参标定、时间戳对齐等一系列工作，稍微一个环节没做好，融合结果就崩。

纯视觉方案里，这些“外部几何先验”没了，深度完全依赖网络自己去推断。车载摄像头还是2D传感器，单帧图像里没有直接的距离信息。怎么办？办法是按BEV网络框架，利用多个摄像头之间的视角重叠关系、时间序列中的目标尺度变化，以及车型尺寸的先验知识，让网络学到“从这个角度看过去，目标大概多远”的能力。这套技术路线在过去几年已经被验证过，现在国内厂家跟进，并不是拍脑袋。

对小鹏来说，AI鹰眼方案的BEV网络输出是一个统一的三维空间表征，摄像头图像输入后直接变成车周围360度的鸟瞰视角特征，后端的规划控制模块直接在这套表征上工作。这意味着整个系统不再关心“这个障碍物是摄像头看到的还是雷达看到的”，只关心“这个位置到底有没有东西、多快在移动、朝向哪里”。这种把多源异构问题变成单一图像问题的方式，大量简化了系统集成，排障时也只需要查一路数据就够了。

3.2 传感器分工怎么重新划分

很多朋友看到“纯视觉”三个字，会产生一个疑问：是不是车上所有传感器都变成摄像头了？其实不是。小鹏AI鹰眼方案虽然主打纯视觉感知，但在近距离泊车、低速避障环节，超声波传感器依然是标配。激光雷达可以去掉，是因为它的功能可以被摄像头加算法替代；但超声波雷达这种成本极低的近距检测传感器，替代它不仅没有多少收益，反而会引入更多不确定性。

所以在新的传感器架构里，分工逻辑非常清楚：摄像头负责中远距离和360度环视的主要感知，超声波负责近距盲区和泊车辅助，惯导和轮速计负责提供运动学约束，GNSS负责全局定位。整个方案的传感器类型减少了，但“分层冗余”的概念并没有废弃，只不过冗余方式从“不同物理原理传感器同时感知同一目标”，变成了“不同距离范围、不同工况下各自负责自己的核心场景”。

这种重组对整个域控制器的影响也很直接。去掉激光雷达后，点云数据处理、雷达目标跟踪、跨传感器时间同步等模块都可以从代码库里删除，相关的驱动和诊断逻辑一并简化。留在域控里的主要计算负载，变成了多路摄像头的ISP处理和神经网络前向推理。大算力芯片的利用率反而变得更高，说明白点就是在同样的算力平台上，纯视觉方案的“软件天花板”要比“雷达+视觉”方案高不少。

3.3 数据闭环与训练语料的改变

可能有人会说，纯视觉听起来就是把激光雷达拿掉，算法上换套网络。但实际上，训练数据通路的变化比想象中大得多。以前有激光雷达的时候，真值标注可以直接从点云聚类结果里自动生成，障碍物的框和距离都有非常“干净”的来源。没了激光雷达，训练数据的真值怎么来？总不能全靠人工去图像里拉框吧。

现在常见的做法是“激光雷达迁移标注”加“多视角几何重建”。开发阶段，先用装激光雷达的采集车跑大量高质量数据，把点云真值自动落进图像里，生成第一批大规模带标签数据集；然后部署阶段，获取到的参数泛化到量产纯视觉车型上，量产车自身采集的数据再通过人工抽检和自动清洗，持续回流到模型训练。这样一来，激光雷达并没有完全退出研发链条，它只是从车上拆下来，变成了研发阶段的“离线真值传感器”。用业内的话说，激光雷达从传感器变成了数据标注工具，这才是真正的高级玩法。

小鹏这套AI鹰眼方案的另一个关键是影子模式。量产车在无激光雷达状态下运行，但系统会记录驾驶员接管、急刹车等异常事件，对应的周围影像数据被传回云端。云端再用离线模型对这批数据进行自动标注，生成新的训练样本。数据闭环跑起来之后，纯视觉方案的新场景发现和模型更新速度会明显快于传统方案——不需要等某个地区出了事故再回看数据，而是系统自己就能筛选“自己觉得自己不行”的时刻，主动采集，主动学习。

4. 实操视角：搭载LOFIC摄像头的系统调试与常见问题

上面聊得偏战略和原理，下面我把视角切到工程调试，分享一些在台架和实车上调LOFIC摄像头纯视觉系统时踩过的坑和经验。如果你是做感知或嵌入式开发的，这部分应该用得上。

4.1 摄像头标定：不再有激光雷达坐标真值的日子

纯视觉系统里，摄像头外参标定的重要度被提升到了一个极其夸张的高度。因为所有目标的距离和位置都是从BEV网络推出来的，而BEV网络的质量严重依赖摄像头外参和多摄重叠视场的对齐。以前激光雷达存在时，就算摄像头外参偏了一点，点云还能把目标位置“校正”回来，现在这条路没了，外参误差会直接反映到目标位置偏移上。

实际标定流程我建议分三层：第一层是产线标定，用标定间里的特征板和激光投影仪，把每个摄像头的外参标到毫米级精度；第二层是售后标定，通过OTA下载标定参数或让车主在特定场景绕车行驶，利用车道线等自然特征做增量优化；第三层是运行时自标定，车辆正常行驶时，网络会根据车道线、路沿等稳定特征持续监测外参漂移，一旦发现偏移超阈值就报警。这三层下来，才能保证出行一年后外参不会因为颠簸老化明显偏离。

时间同步也要重新排。以前多传感器融合时，一个激光雷达的时间戳可以当作系统主时钟，其余传感器向它对齐。现在没有雷达，摄像头之间以及摄像头与IMU之间的时间同步就要做得更精细，差分要在1ms以内，否则高速场景下目标位置会带着几米级误差。工程上一般用PTP或硬件触发信号同步多路摄像头曝光时刻，不能靠软件事后打时间戳糊弄。

4.2 ISP调试与图像质量的那点事

LOFIC传感器把动态范围做上来了，但如果ISP那头没有配套调好，图像依然没法直接用。以我实际调过的车规级传感器为例，ISP管线里影响最大的三个参数是：局部色调映射强度、降噪强度、锐化增益。局部色调映射调得太激进，暗部会容易过曝，生成人工感很强的图像；降噪太猛，夜间图像会丢失细小纹理特征，人形目标在远处直接变成一团色块；锐化增益太高，会产生振铃效应，目标边缘出现不自然的白色光环，算法在边缘检测上容易产生虚假的响应。

常规的做法是分场景调参：白天、黄昏、夜晚、隧道、雨天各出一套参数，再用自动曝光和自动白平衡在场景间平滑切换。加入LOFIC传感器之后，白平衡的修正范围也发生了变化，因为高光区域不再像过去那样大面积溢出，ISP能拿到更真实的色温信息。一个比较容易被忽略的细节是，LOFIC传感器因为动态范围大，低照度下的噪声轮廓跟普通传感器不一样，如果用传统的降噪参数，容易出现暗部色斑。需要重新采集噪声模型，把3D降噪和2D降噪的比例重新标定。

4.3 目标检测与深度估计特有故障排查

纯视觉系统跑在路上，最常见的失效模式是三个：夜间远距离目标误检、逆光红绿灯漏检、强光下的“光晕吞噬”。排查这类问题，我的建议是先不要急着调整网络，第一步把采集到的原始图像导出来，一帧一帧看。如果原图里目标本身已经不可辨，那问题在传感器端或ISP端；如果原图里目标清晰，但网络输出丢了，那问题在模型训练侧。

夜间远距离误检，经常是因为暗部噪点太多，特征提取网络把噪点纹理误认成车辆尾部边缘。此时优先调ISP降噪参数，而不是加大模型正则。逆光红绿灯漏检，多半是动态范围还没发挥到位，检查是否开启了LOFIC的高动态模式，以及曝光策略是否覆盖了天空高亮区域。光晕吞噬则要检查镜头镀膜和光阑设计，属硬件问题比较多见，软件只能通过限制局部高光增益来补救。

我自己印象最深的一个case，是某台测试车在隧道出口急加速时，纯视觉系统把隧道外的白墙误判成了可通行路面，导致车辆短暂犹豫。后来查图像，发现隧道外高亮区域的色温和隧道内差异极大，ISP的自动白平衡在瞬间来不及切换，导致整幅画面偏蓝，语义分割网络因此对“天空/墙面”产生了误判。解决方式是给ISP配一个“场景预判”功能，利用前方摄像头提前一点看隧道出口的亮度变化，提前调整白平衡参数，而不是等画面变了再去适应。这类系统级调参经验，只有在实车测试里一点点磨出来。

5. 常见问题速查表与选型避坑清单

5.1 高频问题定位速查

为了方便大家在实际项目里对照，我把常见的坑整理成一张表。这些内容来自团队调试记录和同行交流，不一定覆盖所有情况，但大概率能帮你少走几次弯路。

这套表里的前三条是我在实车上遇到过频率最高的，最后两条则是行业通用难题，不是换一个传感器就能完全解决的。核心思路是别把锅都甩给算法，先从图像源头找问题，往往一张原图就能定位到是传感器、ISP还是模型的原因。

5.2 选型阶段的避坑实践

选型避坑方面的建议是：评估LOFIC摄像头模组时，别只看传感器型号，一定要把整套镜头、红外截止滤光片、盖板玻璃、镀膜拿到实车上测一遍。同一颗传感器配不同镜头模组，HDR表现能差出好几档。而且在供应链上要预留两到三个备选方案，同样是LOFIC，不同厂商的饱和电容和读出噪声差异很大，当年“一颗料定了终身”的情况在车载项目里特别危险。

还有一点是散热。LOFIC传感器的像素结构更复杂，工作温度稍高时暗电流会上升，动态范围优势会被明显削弱。实车上摄像头一般都装在挡风玻璃或后视镜附近，夏天暴晒后温度不低，建议在机构设计里加遮阳板和散热片，并在软件里加温度补偿参数。这些参数如果不提前准备，等路试暴露问题再OTA，周期会拖得很长。

在选型环节，我给团队定过一条很简单的工作纪律：别急着信数据手册，把传感器拿回来，在林荫路、隧道、夜晚大灯对射这三个场景各拍一个小时，拿原始RAW数据分析动态范围是否真的够用。LOFIC传感器在纸面参数上的优势，只有放到真实光环境里才知道是真本事还是纸老虎。小鹏AI鹰眼方案选择这条路，从工程逻辑上是成立的，但它也把问题从“传感器够不够清楚”转移到了“数据够不够多、算法够不够聪明”。我自己的判断是，视觉方案的长期天花板并不比激光雷达方案低，只要能把数据闭环和场景验证做到位，纯视觉确实可以成为主流。方向我很认同，但真正的考验永远在路上。