从NeRF到3DGS：为什么说球谐函数是处理视角相关外观的‘瑞士军刀’？-开发者社区

从NeRF到3DGS：球谐函数如何成为视角相关建模的终极工具

在计算机图形学和三维重建领域，视角相关外观(view-dependent appearance)的建模一直是核心挑战之一。想象一下金属表面随着观察角度变化而产生的光泽变化，或者玻璃材质在不同视角下呈现的复杂反射效果——这些现象背后都涉及光线与材质相互作用的复杂物理过程。传统方法往往需要庞大的存储空间和复杂的计算才能准确捕捉这些效果，直到球谐函数(Spherical Harmonics)的出现，为这一领域带来了革命性的简化方案。

1. 视角相关建模的技术演进史

视角相关外观的数学描述本质上是一个定义在球面上的函数——对于三维空间中的每个点，我们需要记录从所有可能观察方向看到的颜色值。这种全向函数如果直接存储，数据量将呈指数级增长。历史上，研究人员尝试过多种参数化方法：

环境贴图(Environment Maps)：将视角相关效果预计算并存储在二维纹理中
双向反射分布函数(BRDF)：基于物理的材质模型，但计算复杂度高
神经网络隐式表示：如NeRF使用的多层感知机(MLP)

这些方法各有优劣，但都存在明显的局限性。环境贴图需要大量存储空间且难以动态更新；BRDF模型虽然物理准确但计算昂贵；而NeRF的MLP虽然灵活，训练和推理速度却成为瓶颈。

**3D高斯泼溅(3D Gaussian Splatting, 3DGS)**的出现改变了这一局面。它采用显式的球谐函数系数来表示视角相关颜色，在保持高质量的同时实现了惊人的实时渲染性能。这种方法的创新之处在于：

将连续的视角相关函数离散化为有限的球谐系数
利用球谐函数的正交性实现高效计算
通过低阶近似平衡精度与性能

下表对比了几种主流方法的特性：

方法	表示形式	视角处理	存储效率	计算效率
环境贴图	显式(纹理)	离散采样	低	中
BRDF	参数方程	解析计算	高	低
NeRF	隐式(MLP)	神经网络	中	低
3DGS	显式(球谐)	基函数展开	高	高

2. 球谐函数的数学之美

球谐函数之所以能成为视角相关建模的"瑞士军刀"，源于其深厚的数学基础。这些定义在单位球面上的特殊函数，具有几个关键特性：

正交完备性：不同阶的球谐函数相互正交，可以独立调整而不产生干扰
旋转不变性：球谐系数的物理意义在坐标系旋转时保持不变
多分辨率表示：低阶系数捕捉大体特征，高阶系数编码细节

在三维重建中，我们通常使用实数形式的球谐函数，其一般表达式为：

Y_l^m(\theta, \phi) = \begin{cases} \sqrt{2}K_l^m \cos(m\phi)P_l^m(\cos\theta) & m > 0 \\ K_l^0 P_l^0(\cos\theta) & m = 0 \\ \sqrt{2}K_l^{|m|} \sin(|m|\phi)P_l^{|m|}(\cos\theta) & m < 0 \end{cases}

其中：

$l$是阶数(非负整数)
$m$是模式数($-l \leq m \leq l$)
$P_l^m$是连带勒让德多项式
$K_l^m$是归一化常数

3DGS选择使用3阶球谐函数，这是一个经过精心权衡的决定：

0阶(1个系数)：表示环境光/基础色
1阶(3个系数)：捕捉基本的明暗变化
2阶(5个系数)：表现材质的主要反射特性
3阶(7个系数)：处理更复杂的光照细节

这种配置共需要16个系数(1+3+5+7)，在效果和效率之间取得了完美平衡。实践中，3阶近似已经能够准确表达大多数日常材质的视角相关效果，包括：

金属的菲涅尔效应
织物的各向异性反射
塑料的镜面高光

3. 3DGS中的球谐函数实战

在3DGS框架中，每个高斯椭球都关联着一组球谐系数，这些系数通过可微分渲染进行优化。具体实现时，颜色计算分为三个步骤：

方向向量归一化：将观察方向转换到高斯椭球的局部坐标系
基函数求值：计算当前方向对应的各阶球谐基函数值
加权求和：用学习到的系数对基函数值进行线性组合

以下是简化的Python代码示例，展示如何计算球谐函数值：

import numpy as np from scipy.special import sph_harm def evaluate_sh(coefficients, direction): """ 计算球谐函数在给定方向的值 :param coefficients: 球谐系数 [c00, c1-1, c10, c11, ...] :param direction: 观察方向的单位向量 (x,y,z) :return: RGB颜色值 """ theta = np.arccos(direction[2]) # 极角 phi = np.arctan2(direction[1], direction[0]) # 方位角 # 计算各阶基函数值 basis = [] l_max = int(np.sqrt(len(coefficients)/3)) - 1 # 假设RGB三个通道 for l in range(l_max + 1): for m in range(-l, l + 1): ylm = sph_harm(abs(m), l, phi, theta) if m < 0: basis.append(np.sqrt(2) * (-1)**m * ylm.imag) elif m > 0: basis.append(np.sqrt(2) * (-1)**m * ylm.real) else: basis.append(ylm.real) basis = np.array(basis) # 对RGB通道分别计算加权和 color = np.dot(coefficients.reshape(3,-1), basis) return np.clip(color, 0, 1) # 限制在[0,1]范围

实际应用中，3DGS通过CUDA加速实现高效的球谐函数计算，使得即使是包含数百万高斯椭球的场景也能实时渲染。这种效率来自于几个关键优化：