一、论文核心信息
题目:EnliveningGS: Active Locomotion of 3DGS(EnliveningGS:3D 高斯 splatting 的主动运动生成)
作者:沈思远、邵天佳、周昆、江陈帆、尹洋
单位:浙江大学 CAD&CG 国家重点实验室、加州大学洛杉矶分校、犹他大学
会议:CVPR 2025(计算机视觉顶会,Open Access 版本已公开)
二、摘要
这篇论文提出了一款名为 EnliveningGS 的新型框架,首次让 3D 高斯 splatting(3DGS)表示的静态模型实现 “主动运动”—— 就像给物体植入 “肌肉”,让椅子走路、棋子跳跃、玩偶扭转,既符合物理规律,又能精准贴合用户设定的运动轨迹,还解决了运动中穿模、伪影、场景空缺等关键问题。
三、论文动机:为什么要做这件事?
3D 高斯 splatting(3DGS)是近年来火遍视觉领域的技术,能逼真还原 3D 场景,但它有个致命短板:场景里的物体都是 “死的”—— 要么静止不动,要么只能靠重力、推力等外力 “被动” 运动,没法像生命体一样主动调整姿态实现行走、跳跃。
现有方法的核心问题:
运动是 “被动响应”:物体只能被外力推着动,没有自主运动能力;
接触建模难:物体与地面、桌面的碰撞、摩擦是 NP 难问题,计算复杂还容易穿模;
变形有缺陷:大幅运动时会出现表面凹凸、细节丢失等伪影,分割物体后场景还会留下空缺。
为此,团队希望打造一款能让 3DGS 物体 “活过来” 的框架,让日常物品也能像生物一样主动运动,同时解决上述技术痛点。
四、核心创新点
主动运动流水线:首次实现 3DGS 模型的肌肉驱动主动运动,用户只需输入运动轨迹(如 “跳 1 米远”),框架就能自动计算所需的肌肉激活信号,无需手动设置复杂物理参数;
混合接触建模:融合罚函数法与线性互补规划(LCP),既解决了穿模问题(罚函数法软化约束),又精准还原摩擦规律(LCP 编码库仑定律),大幅降低计算复杂度;
高斯核自分裂机制:运动变形时,自动检测并分裂 “撑不住” 的高斯核,避免表面尖峰伪影;
高效场景修补:分割物体后,利用平面先验快速填补场景空缺,20 秒就能完成现有方法 20 分钟的工作量,还不依赖缺失区域大小。
五、核心方法:怎么让物体 “活” 起来?
EnliveningGS 的核心逻辑是 “给物体搭骨架、植肌肉、定规则”,三步实现主动运动:
- 搭骨架:混合网格 - 高斯表示
从 3DGS 场景中分割出目标物体(比如椅子)的高斯核集合,给它套一个 “四面体网格骨架”—— 既近似物体的体积、质量,又能给松散的高斯核提供运动约束,避免变形时散架。T=(V,F),近似物体的总体积、质量和变形特性(其中V为节点集,F为面集)。分割过程中,通过平面近似目标物体周围环境,平面P由单位法向量N和原点到平面的距离d定义:
P(N,d)={x∈R3∣TN+d=0}
四面体网格T决定了变形后G0中高斯核的状态:四面体内部某点x变形后的位置x′,由四面体四个顶点变形后的位置v′通过重心坐标表示:
x′=i λi(x)vi′
变形后,T为G0中所有高斯核提供全局位移映射,但基于位置的插值无法准确描述高斯核的内部旋转和缩放,易产生尖峰伪影;此外,四面体网格较为粗糙,其表面与物体边界存在显著间隙,无法精确描述G0与平面的碰撞。
为解决这些问题,围绕高斯核中心m建立双向局部嵌入,精确描述其影响范围。该嵌入由高斯核对应椭球的端点[v1,v2,v3]确定:
T±=[m,v1,v2,v3]=[m,m±γs1r1,m±γs2r2,m±γs3r3]。相关参数可从缩放矩阵S=diag(s1,s2,s3)和旋转矩阵R=[r1,r2,r3]中获取;γ为描述影响范围的参数,默认值设为 3.0。每个高斯核具有两个方向嵌入T+和T−,各包含四个点。
同时加入 “双向局部嵌入”,精准捕捉高斯核的旋转、缩放,解决骨架粗糙导致的碰撞不准问题。
- 植肌肉:肌肉驱动动力学
在四面体网格T中嵌入肌肉纤维,作为运动的主要驱动力。每个时间步,节点集V中N个节点的位置p,通过动力学方程的数值积分求解:Mp¨=fext+fint+fd+fm+fc(4)
其中,M为质量矩阵;fext、fint、fd、fm、fc分别表示外力、内力、阻尼力、肌肉力和接触力;(⋅)˙表示速度,(⋅)¨表示加速度。外力fext包括重力等;内力fint(弹性力)是材料抵抗变形的弹性特性产生的合力
在四面体网格T中嵌入肌肉纤维,作为运动的主要驱动力。每个时间步,节点集V中N个节点的位置p,通过动力学方程的数值积分求解:Mp¨=fext+fint+fd+fm+fc(4)在骨架中嵌入 “肌肉纤维”(近似为分段弹簧),支持自动生成和自定义布局(纵向、径向、环形等)。通过肌肉激活矩阵,将肌肉收缩 / 伸长转化为驱动力,配合重力、阻尼力、接触力,构建动力学方程,让物体能主动产生收缩、弯曲、扭转等动作。
肌肉纤维被视为含M个分段的多边形曲线,每个分段产生的弹簧力为f=ka(k为肌肉纤维刚度,a为分段长度变化量)。肌肉段激活时,弹簧力会使周围身体收缩或弯曲。整个软体的肌肉力通过与姿态相关的激活矩阵A∈R3N×M编码:fm=A§a(7)其中,a∈RM为所有肌肉段的激活向量
本节提出适用于 3DGS 的新型接触模型。对于G0中的高斯核,首先定义双向局部嵌入T±中满足NTu+d≤0的点u为平面下方点,由此建立 3DGS 的非穿透约束不等式:Cn(u)≡N^Tu˙≥0
将高斯核上的接触力分解为fg=Nf⊥+Df∥,其中D为接触点处近似摩擦锥的方向集(与平面法向量N垂直),f⊥和f∥分别为法向力和切向力的大小。
用于规范接触速度与接触力的 LCP
- 定规则:两阶段运动生成
第一阶段:用罚函数法快速计算接触力(比如物体碰地面时的弹力),得到初步运动状态;
第二阶段:用 LCP 修正摩擦效果,通过二次规划求解最优肌肉激活值,确保物体贴合预设轨迹,不穿模、不打滑。
此外,还加入了高斯核分裂(抗伪影)和场景修补(补空缺)模块,让运动效果更逼真。
六、实验效果
团队在 完成实验,效果碾压现有方法:
- 运动效果
成功实现三类典型运动:
行走:木凳像四足动物一样走四步平移一个位置;
跳跃:棋子在棋盘上连续跳跃,精准控制落点;
扭转:豌豆射手玩偶跳跃时旋转 180 度,落地刚好面向目标。 - 性能方面
变形质量:在弯曲、扭转、落地场景中,PSNR(图像相似度)最高达 28.79,SSIM(结构相似度)最高 0.951,显著优于 PhysGaussian、VR-GS 等方法;
计算效率:运动求解平均迭代仅 17 次,目标函数值低至 0.83,比 QPCC solver 快 2.7 倍;
修补速度:20 秒完成大面积场景空缺修补,是现有方法的 60 倍。 - 消融实验验证
双向局部嵌入能精准检测伪影,非穿透正则化可避免穿模,高斯核分裂让大幅变形仍保持表面光滑。
七、结论与展望
EnliveningGS 首次实现了 3DGS 模型的主动运动,通过混合网格 - 高斯表示、肌肉驱动动力学和混合接触建模,解决了静态 3DGS 场景 “活化” 的核心难题,让日常物体能像生命体一样行走、跳跃、扭转。
局限性
目前依赖平面环境简化,面对复杂几何场景(如凹凸不平的地面)时,需要更精细的接触平面估计。
未来方向
后续可拓展复杂环境适应性,优化肌肉激活与运动轨迹的映射精度,有望应用于影视动画制作、游戏角色设计、VR/AR 交互等领域,让 3D 虚拟世界更具生命力