ICLR‘26开源 | 1000+FPS！Mobile-GS：3D高斯泼溅轻量化新范式，首次在移动设备部署！

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！

Mobile-GS在移动平台上实现了具有挑战性的无界场景的实时渲染。它轻松地突破了120显示FPS的限制，以实现流畅的渲染。

论文信息

标题：Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

作者：Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

机构：University of Technology Sydney、Adelaide University、Li Auto Inc.

原文链接：https://arxiv.org/abs/2603.11531

代码链接：https://github.com/xiaobiaodu/mobile-gs

导读

3D高斯扫描（3DGS）已经成为一种在各种应用中实现高质量渲染的强大表示方法。然而，其高计算需求和高存储成本对移动设备上的部署构成了重大挑战。在这项工作中，我们提出了一种移动定制的实时高斯溅射方法，称为Mobile-GS，能够在边缘设备上高效推断高斯溅出。具体来说，我们首先确定alpha混合是主要的计算瓶颈，因为它依赖于耗时的高斯深度分类过程。为了解决这个问题，我们提出了一种深度感知与顺序无关的渲染方案，该方案消除了排序的需要，从而大大加快了渲染速度。尽管这种无序渲染提高了渲染速度，但由于渲染秩序的稀缺，它可能会在几何重叠区域引入透明工件。为了解决这个问题，我们提出了一种神经视图依赖增强策略，使视图依依赖效应的建模更加精确，条件是观看方向、三维高斯几何和外观属性。通过这种方式，Mobile-GS可以同时实现高质量和实时渲染。此外，为了方便在内存受限的移动平台上部署，我们引入了一阶球谐波精馏、神经矢量量化技术和基于贡献的修剪策略，以减少高斯原语的数量并通过神经网络压缩三维高斯表示。大量实验表明，我们提出的Mobile-GS实现了实时渲染和紧凑的模型尺寸，同时保持了高视觉质量，非常适合移动应用。代码将被发布。

效果展示

是第一个实时高斯喷射方法，在配备Snapdragon 8 Gen 3 GPU的移动设备上，在1600 x 1063分辨率下可以达到116 FPS的渲染速度，如图（a）所示。我们在（b）和（c）中评估了RTX 3090 GPU上的渲染质量、存储成本和推理速度。我们的移动-GS集成了深度感知的顺序无关渲染、压缩和蒸馏技术，与原始3DGS相比提供可比较的渲染质量，同时将存储需求大幅降低到 4.8MB 并实现 1098FPS 在无界场景中，从而能够在移动设备上高效部署。

我们发现排序是主要的性能瓶颈。 左： 原始3DGS的运行时分析突出显示，排序操作在推理期间产生了显着的计算开销。 右：删除排序步骤大大加速了 3DGS，与原始实现相比，实现了几倍的速度提升。

方法

在推理阶段，与3DGS不同的是，我们提出的方法消除了基于瓦片的渲染和通常需要精确alpha混合的3D高斯排序过程。相反，我们在一个通道中渲染了所有与目标像素相关的3D高司。为了进一步提高性能和保持视觉质量，我们提出了一种深度感知顺序无关的渲染策略，取代了原始依赖排序的alpha混合。

左图:我们利用一个带有3D高斯尺度、旋转、球谐波和相机向3D高司矢量的MLP作为输入，来预测依赖于视图的不透明度。右图:我们显示我们的Mobile-GS消除了冗余的不透明度，并保留了高不透明度的重要高斯图像。

实验结果

我们进一步提供了对我们提出的Mobile-GS的详细运行时分析，评估基于四个代表性场景，涵盖了Mip-NeRF 360数据集的室内和室外环境。报告的运行时涵盖了渲染管道中涉及的所有基本组件，包括用于视图依赖效果的轻量级MLP。尽管包含了通常被认为在计算上要求很高的MLP，我们的设计引入了最小的开销。这表明Mobile-GS在计算效率和模型表现力之间保持了有利的平衡，确保了实时性能而不影响视觉逼真度。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉方向论文辅导来啦！可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。

添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。