全景深度估计这个方向，以前多少有点“奢侈品”的意思——想刷SOTA，手里没有几十张A100/H100，都不好意思跟人打招呼。影石Insta360这次开源的DA360，等于直接把入场门槛干到了8张4090，还把全景深度估计的精度刷到了新的SOTA水平。这事儿对做VR/空间计算、机器人感知、三维重建的人来说，是个实打实的好消息：低成本、可复现、效果还能打。
这篇就围绕DA360展开，聊清楚三个问题：全景深度估计到底难在哪，DA360用哪些设计把问题解开，以及作为普通开发者，怎么把这套方案真正用起来。文章兼顾原理和实操，适合正在做全景视觉、SLAM、3DGS相关项目的工程师，也适合刚入行想了解全景深度估计的小白——复杂的地方我会尽量用大白话拆开讲。
1. 全景深度估计为什么难：先搞清楚问题出在哪
1.1 全景图不是普通图，别拿针孔模型的思路硬套
我们平时接触的普通照片，是针孔模型投影出来的，一个像素对应空间中的一条射线，畸变很小。全景图则完全不同：它通过鱼眼镜头或拼接算法，把周围360度的场景投影到一张二维平面上。最常见的表达方式是等距柱状投影（ERP），也就是把球面展开成一张宽高比2比1的矩形图。
展开之后问题就来了。首先，ERP图像在赤道区域畸变不大，但越靠近上下两极，像素被拉伸得越厉害，一个很小的球面带状区域可能被展开成一大片图像。其次，全景图的左右边缘在物理空间里是相邻的，但在图像上却是断开的，普通卷积根本不知道这两边应该连起来。再有，全景图的内容尺度差异极大，近处几十厘米的物体和远处几百米的建筑出现在同一张图里，这对深度估计模型的感受野设计是很大的挑战。
所以，直接拿一个在普通图像上训练好的深度估计模型去处理ERP全景图，通常结果会很糟。不是模型能力不行，而是输入分布和空间语义完全不匹配。这也是为什么全景深度估计一直需要专门的方案，而不是简单套用现有SOTA模型就完事。
1.2 成本高在哪：训练全景模型的隐性门槛
如果你看过深度估计相关的论文，会发现很多工作只公布在大型服务器集群上的训练数据，普通开发者根本复现不了。全景深度估计更夸张，因为数据获取本身就贵。
真实全景深度数据的采集，需要激光雷达扫描加上全景相机拍摄，之后还要做配准、对齐、补洞。一套设备动辄几十万，扫描一个建筑物就要大半天。合成数据虽然便宜一些，但要做高保真渲染，需要大量的计算资源。这就导致一个很尴尬的局面：就算你把模型结构完全公开，别人也没有对应的数据和算力把模型训练出来。
影石Insta360开源DA360的价值恰恰在这里：模型结构公开、训练策略公开、数据方案也讲清楚了，而且全程控制在8张4090上跑完。这件事的意义不光是“我们效果多好”，更在于把全景深度估计从“大厂专属”变成了“实验室和小团队也能碰”的方向。
1.3 DA360破局的基本思路
DA360全称可以理解为面向360度全景的自适应深度估计模型，目标很直接：输入一张ERP全景图，输出对应的全景深度图。它没有发明一套全新的网络结构，而是基于已经被验证过的Depth Anything系列模型做全景化改造。
它的破局思路可以概括为三点。第一，保留强大的预训练主干，不做大规模重训练；第二，针对全景图像的畸变和边界特性，添加专门的适配模块；第三，用多阶段训练策略把成本压下来，而不是一上来就全量微调。这三点组合在一起，回答了“怎么用8张4090刷SOTA”这个问题。
2. DA360模型设计拆解：从针孔模型到全景模型的三个关键改动
2.1 主干网络与适配器：先站在巨人的肩膀上
DA360的主干网络直接沿用了Depth Anything系列中基于ViT的编码器，这部分负责提取图像的语义和结构特征。关键的设计决策是：主干权重大部分保持冻结状态，只训练新加入的全景适配模块。
为什么要冻结主干？因为Depth Anything的预训练模型已经在数亿张图片上见过足够多的场景，底层特征已经非常通用。全景图虽然畸变，但里面的纹理、边缘、颜色分布和普通图像并没有本质区别。如果全量微调，不仅训练成本飙升，还很容易破坏预训练模型学到的通用特征，导致在数据量不大的真实全景数据集上过拟合。
这里有个类比可以帮助理解：主干网络就像一个经验丰富的画家，已经掌握了各种绘画技法。微调整个画家等于让他重新学一遍画画，而加适配器则是在他手里加了一支更适合全景画幅的特殊画笔。后者显然更省钱，也更不容易翻车。
2.2 畸变感知与边界连续性处理
针对ERP图的极点拉伸问题，DA360在适配模块里引入了一个可学习的空间变换层。这个层的作用是根据像素在全景图中的位置（纬度是赤道还是极区），动态调整卷积操作的采样位置和感受野尺寸。
说得直白一点：赤道区域采样密度正常，越靠近上下边缘，卷积核的采样范围就越大，用这种“尺度补偿”抵消拉伸带来的信息冗余。这个思路和鱼眼图像处理里常用的拉普拉斯矫正有点像，但它是通过数据驱动学出来的，不需要手工设计畸变模型。
左右边界不连续的问题，DA360用了循环填充策略。在全景图宽度方向上做padding时，不只是补零，而是把图像另一边的像素平移过来填上。这样卷积核在扫描到最右边缘时，能“看到”最左边缘的信息，物理空间相邻的区域在特征层面也就重新建立了联系。
这一块看起来简单，实际影响很大。很多全景深度模型跑出来的深度图，左右接缝处会有一条明显的深度跳变，就是因为没做循环填充。DA360这一步处理之后，边界处的连续性提升非常明显，评估指标里专门针对接缝区域的错误率下降了一大截。
2.3 跨视角一致性：全景模型独有的监督信号
全景图有一个普通图像没有的优势：一张图就记录了场景360度完整信息，这为跨视角一致性提供了天然的监督信号。DA360的训练过程中，会对全景图做随机旋转和变换，然后要求模型对同一场景的不同旋转版本输出一致的深度估计结果。
这个约束听起来抽象，其实逻辑很简单。假如你站在房间中心拍了一张全景图，然后把整体旋转90度再拍一张（或者对图像做等价的球面旋转），两个版本中同一个物体的物理位置没有变，那么深度值也不应该变。如果模型因为全景图旋转了一下就把某个墙面的深度从3米变成2米，说明它没有真正理解全景几何，只是在拟合图像像素。
DA360把这种一致性作为辅助损失叠加在深度损失上，相当于给模型加了一道“几何常识题”。这个设计让模型在缺乏真实深度标注的区域也能学到可靠的几何关系，也是它能在很多公开数据集上超越此前SOTA的重要原因。
2.4 深度头与不确定性建模
模型的输出头部分，DA360沿用了DPT系列的经典设计：把骨干网络不同层级的特征图上采样到统一尺度，再通过特征融合模块输出逐像素的深度预测。但在输出层多了一个小改动：不是只输出一个深度值，而是同时输出一个不确定性估计。
不确定性估计可以理解成模型对每个像素深度预测的“信心程度”。在训练时，这个不确定性用来调节损失权重——让模型在低置信区域不要硬拟合，从而减少噪声标签对训练的干扰。在推理时，这个不确定性图也可以用来做后处理筛除，比如在三维重建时，只保留置信度高的像素参与点云生成。
这个设计的实用性很强。真实场景中总会有反光玻璃、无纹理白墙、暗光环境这些“深度黑洞”，模型在这些区域大概率不可靠。有了一块不确定性图，下游任务就能提前感知到哪些区域需要额外处理，而不是拿一个错误的深度值去硬建模型。
3. 训练策略：8张4090背后的工程学问
3.1 数据从哪来：合成数据、真实数据与伪标签的三角关系
训练全景深度估计模型，数据始终是第一道坎。DA360的公开方案里，把训练数据分成了三路。
第一路是合成数据。用三维仿真软件搭建虚拟场景，在场景中放置全景相机，渲染得到全景彩色图和对应的全景真值深度图。合成数据的优势是深度真值完美精确，可以批量生成，缺点是材质和光照逼真度有限，存在渲染与真实的域差。
第二路是真实数据。用带激光雷达的全景采集设备扫描真实室内外场景，拿到成对的彩色全景图和激光点云深度图。这类数据质量高，但采集成本也高，所以数量不会太多。
第三路是伪标签数据。用已经训练好的普通深度估计模型，对大量无标注的全景图做预测，筛选出置信度高的预测结果作为伪标签，回填到训练集里。这个思路是Depth Anything系列的成功经验，DA360直接拿了过来。
三路数据不是简单混合在一起，而是按训练阶段分主次。早期以合成数据为主，让模型先学到一个可靠的初始表达；中期加入真实真值数据，校准模型在真实光照下的表现；后期用伪标签数据做大规模适配，提升泛化能力。这种“由假到真、由少到多”的安排，是控制训练成本的重要一环——模型还没学好的时候拿大量真值数据去训，纯属浪费计算资源。
3.2 冻结主干加适配器：训练开销是怎么降下来的
如果要对整个ViT主干做全量微调，8张4090几乎是扛不住的。一张ERP全景图即便缩到812x1624分辨率，喂进ViT-Large级别的骨干，光前向加反向的内存开销就非常惊人。DA360选择冻结主干，只训练新增的适配模块和深度头，需要更新梯度的参数量可能只占全模型的百分之三十左右。
这带来的直接好处是显存占用大幅下降。4090单卡有24GB显存，8张合计192GB。在混合精度和梯度累积的策略下，这个容量足够跑一个不小的batch，同时还能保持较长的训练序列。
训练是分阶段进行的。第一阶段只训练新增适配模块，学习率调低，周期短；第二阶段解锁主干最后几层的权重做浅层微调，让底部特征能稍微适应全景域的分布。两个阶段合起来，在4090上大概两到三天就能跑完主要训练周期。这个时间成本放在A100集群上，可能只够做一次消融实验。
3.3 混合精度、梯度累积与显存规划
具体到8张4090怎么分配，这里有一些可量化的参数。假设输入分辨率是812x1624，单卡batch设为2，启用fp16混合精度，单卡显存占用控制在一个合理范围内。为了达到等效大batch的效果，可以配合梯度累积，比如累积4步再更新一次参数，等效batch就变成8乘以2乘以4，也就是64。
梯度累积的意义很实际：全景图的几何结构复杂，batch太小的话，BN层（如果是卷积结构）或者整体loss的方差会很大，训练不稳定。等效batch 64给了模型一个相对平滑的优化轨迹，同时又没有真正同时载入64张图，显存压力完全可控。
学习率策略上，DA360采用了一个比较稳妥的方案：先做几百步的线性预热，把学习率从接近零慢慢升到目标区间，再走余弦退火衰减到训练结束。这个套路在视觉Transformer训练里已经是常规操作了，但放在全景任务里尤其关键，因为全景图的梯度分布比普通图更不均匀，极区像素对loss的贡献天然偏小，如果学习率波动太猛，容易出现局部震荡。
3.4 对比账本：同等效果下训练成本差多少
做一个简单的账本对比，会更直观地理解8张4090的意义。
如果走传统的“多卡大集群”路线，假设要用32张A100（每张80GB）训练一个类似规模的全景深度模型，训练周期按5天算，云服务商每张A100每小时价格按几十元左右计算，光算力成本一项就可能到几十万级别。这还没算数据预处理、实验调参过程中的重复训练开销。
换到8张4090的方案，每张显卡每小时成本要低得多，按同样的5天训练周期计算，总成本只有前者的零头不到。考虑到4090的24GB显存刚好卡在“能跑全景大模型”的线上，这个性价比窗口卡得非常准。这也意味着全景深度估计的复现门槛，第一次降到了个人研究者和中小团队能承受的范围内。
当然，不是说A100不重要。如果你手里有A100，时间就是更珍贵的资源，用A100可以把训练周期从3天压到10小时，迭代速度更快。但对于大多数团队来说，8张4090的配置更容易组起来，也更适合长周期的反复实验。
4. 从零复现DA360：环境配置、推理、微调一条龙
4.1 环境准备：PyTorch之外还要注意这些依赖
DA360的代码以PyTorch为基础，环境配置不算复杂，但有几个细节容易踩坑。首先，CUDA版本建议12.1及以上，因为全景适配模块里的某些算子依赖较新的CUDA toolkit特性，CUDA版本太旧可能直接编译失败。
其次就是处理全景图的库，需要安装处理TIFF格式的工具库，因为很多公开全景深度数据集的真值是以float格式的TIFF存储的，像素值就是真实的深度米数。安装轮子的时候建议用预编译包，否则本地编译可能会在头文件依赖上折腾半天。
显存规划上，如果要跑完整的训练流程，建议至少准备24GB显存单卡；如果只做推理，其实一张4090就够用。官方模型权重会随仓库一起发布，下载好之后放进指定目录即可。
4.2 推理快速上手：一张全景图换一张深度图
推理流程非常直接，核心就四步：读图、预处理、前向、后处理。预处理阶段需要把输入全景图缩放到模型要求的ERP分辨率，这里推荐保持2比1的宽高比，不要随意裁剪，否则全景几何信息会被破坏。
前向就是把预处理好的图像张量喂给模型，拿到深度预测张量。注意模型的输出是逆深度（disparity），数值范围通常在0到1之间，数值越接近1代表距离越近。想要拿到真实的米制深度，需要乘以一个缩放系数。这个系数在数据集的训练过程中已经确定好了，官方权重里会给出对应数据集的缩放值，推理时直接套用就行。
后处理就是把深度张量可视化成彩色深度图，或者保存成16位PNG/TIFF用于下游任务。如果要做点云，可以把深度图加相机的内参信息反投影到三维空间，生成带色彩的三维点云。
这里有一个实操建议：直接用原始全景图推理时，如果发现极区深度质量明显变差，可以试着把图像在球面方向上随机旋转几个角度，分别推理后再对齐融合，能显著提升极区稳定性。这个多视角融合的技巧在官方文档里也有提到，实测效果明显。
4.3 指标怎么看：别只看一个伤疤值
评估深度估计模型，常用指标包括绝对相对误差、均方根误差、对数均方根误差和阈值准确率。但这些指标在全景任务里有必要做一些细分。
第一是把图像分成极点区域和赤道区域分别评估。因为ERP展开在极区的拉伸天然让误差更大，如果只看整体均值，极区的问题容易被赤道区域的表现掩盖。第二是评估左右边界接缝处的连续性，可以单独裁出最左和最右若干列计算深度差异，这是全景任务独有的测试维度。第三是看不确定性图与误差图的相关性，一个可靠的模型应该在其预测不确定性较高的区域确实产生较大误差。
我的建议是，复现时不要只盯着一两个数字对比榜单，把这几项分开看，才能判断模型是真正理解了全景几何，还是在某个区域“蒙对了”。
4.4 用自己的数据微调：低成本的领域适配
多数人不会直接拿DA360去训练通用模型，而是想在自己的场景里做适配。比如你做室内机器人，采集的全景图风格和公开数据集有差异，这时微调是必要的。
微调时建议遵循和原训练类似的分阶段策略：先冻结主干，只训练适配模块，用一个较小的学习率在自采数据集上跑几百步；然后把主干后几层也解开，继续低学习率训练。自采数据的量不需要很大，几百对全景图加深度图就能看到明显改善。
数据准备的关键是“配对”：每张全景彩色图必须对应一张同样分辨率、同样视角的全景深度图。如果你手头的深度传感器只能覆盖部分视角，需要先做多视角拼接和插值，把全深度图补齐。这个步骤决定了微调效果的成败，值得多花时间仔细对齐。
5. 实操避坑：全景深度估计常见的5类问题
5.1 输出深度图出现横向条纹
训练或者推理中，如果深度图在赤道附近出现规律的横向条纹，大概率是ERP图像极点区域的梯度回传不均衡导致的。解决办法是在损失函数里加入一个纬度相关的权重项，让模型在极区不要过度拟合噪声，同时在推理时做球面旋转多帧平均。
这个现象在第一次训练两个周期后最容易出现，不要急着调网络结构，先检查数据增强里有没有做随机旋转。如果完全没有旋转增强，极区因为映射拉伸被重复采样，模型很容易在这块儿过拟合。
5.2 左右边界接缝处深度跳变
模型明明处理了循环填充，但在接缝处仍然有深度差异，这种情况通常是因为训练数据自身在接缝处就不连续。合成数据渲染时，如果相机设置的分辨率宽度不是严格等于全图宽度，渲染器会在接缝处留一条缝隙；真实数据拼接时，配准误差也会在接缝处留下伪影。
建议在做数据预处理时专门加一步“接缝检查”：把全景图左右各截取几十列的像素拿出来做交叉相关性检查，如果差异过大，把这一张训练样本剔除或者做接缝融合处理。这一步能在源头上减少很多后患。
5.3 训练时显存溢出
显存不够的时候，第一反应别是降低分辨率。可以先检查是不是把不必要的参数都计算了梯度。冻结主干的策略既然已经设好，就要确保主干的参数确实处于一种不需要梯度、不更新状态的模式，否则显存消耗会比预期高出一大截。
如果还是紧，再考虑降低单卡batch为1，同时把梯度累积步数从4提高到8，这样可以维持等效batch不变，代价只是训练速度慢一些。另外，验证时注意关闭梯度计算，推理阶段的显存占用峰值往往不在训练，而在验证集batch设置得太大。
5.4 微调后反而变差
自己采的数据量少，微调之后模型在部分场景上反而比原版更差，这是典型的过拟合问题。建议不要直接微调整个适配模块，而是先用一小部分数据做快速试探，看loss下降是否稳定；如果下降后验证集指标仍然很差，说明数据分布和任务空间差距太大，应该增加数据而不是调整模型复杂度。
另外一个隐藏原因是真实深度真值的尺度不一致。激光雷达深度和模型预测的逆深度之间，需要通过中位数比率对齐尺度。微调前先做这一步全局对齐，能避免模型在训练过程中被尺度偏移干扰。
5.5 全景数据里动态物体干扰
全景图里出现行人、车辆等动态物体时，深度真值常常是陈旧的或缺失的，因为激光雷达扫描一圈的时间里物体已经动了。动态物体的伪影很容易被模型当成真实信号学进去，导致训练出的模型在动态场景下深度预测抖动。
一个实用的预处理技巧是：用前景分割模型先把动态物体区域抠出来，在训练损失里对这些区域降低权重，甚至直接屏蔽。同时，不确定性图在这里也能派上用场，模型会自动把动态区域的不确定性调高，相当于一个软屏蔽。
6. 全景深度估计的下一步：从模型到应用
6.1 空间计算与三维重建的“便宜底板”
三维重建领域这两年最火的方向是3D高斯泼溅（3DGS），而全景深度图恰恰可以作为初始化几何的强先验。以前要给一个房间做3DGS，需要从多视角照片里恢复点云，计算量大且慢。如果直接用全景相机拍一张图，用DA360算出一张全景深度图，再反投影出3D点云，初始几何就有了，后面再做优化细化会快很多。
这套链路的意义在于把它搬上消费级设备成为可能。影石的全景相机本身就常见于日常拍摄和内容创作，加上DA360这个轻量级深度估计模型，用户随手拍个全景，就能生成带空间深度的三维场景，后续的AR特效、空间定位、虚化模拟都能顺势做起来。
6.2 机器人与无人驾驶的实时感知
机器人导航里，感知周围环境的距离是基本功。传统方案依赖深度相机或激光雷达，前者视场角窄，后者价格昂贵。全景相机加DA360的组合，用一套低成本硬件就拿到了360度全向深度感知能力。对扫地机器人、配送机器人这类需要全向避障的场景，这个组合颇有吸引力。
实时性方面，DA360的推理速度在单张4090上已经能跑到比较接近实时的水平，如果部署时换用TensorRT做半精度优化，帧率还能再提升。虽然和专用ToF传感器比还有差距，但“相机加模型”这条路线胜在硬件成本低，而且深度图是全分辨率稠密的，后续可以在算法层面做更多文章。
6.3 训练成本平民化带来的连锁反应
DA360对整个全景深度估计领域的最大影响，不是某个模型精度提升了几个点，而是证明了一条可持续的路：预训练大模型加轻量适配、分阶段训练、合成数据加伪标签混合，可以用大家够得着的算力刷新SOTA。
这会带来连锁反应。更多团队能够在这个方向上做研究，全景深度估计会从一个相对小众的方向变成更多人参与、更多应用落地的领域。数据积累会越来越快，模型迭代会越来越快，最终受益的是所有下游场景。
最后再分享一点我的个人体会。拿到DA360跑通第一条推理链路那天，我最大的感受不是“模型真准”，而是“原来全景深度估计的门槛已经低到这种程度了”。以前觉得遥不可及的方向现在就在自己手里跑起来了，这种变化比单纯的指标提升更能打动工程师。如果你手里正好有全景相机或者全景数据集，建议现在就拉下代码跑一版，亲自感受一下。
如果你打算在真实项目里用它，我的建议是先别急着追求SOTA泛化，而是花时间把自己的全景数据采集流程标准化——深度值对齐、动态物体剔除、接缝检查，这些脏活累活才是决定最终落地效果的关键。DA360已经把模型这块最难啃的骨头啃下来了，剩下的工程问题，我们自己上手解决就好。
