网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

SIGGRAPH2023|用于实时辐射场渲染的三维高斯溅射

洗子

·

🎓学习录

·

Article
论文信息内容
英文标题3D Gaussian Splatting for Real-Time Radiance Field Rendering
发表SIGGRAPH 2023 / ACM Transactions on Graphics,42卷4期
作者Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler、George Drettakis;前两位共同一作
机构Inria、Université Côte d’Azur;Max-Planck-Institut für Informatik
论文arXiv · DOI:10.1145/3592433
项目与数据项目主页:论文、场景与结果下载
代码官方 Gaussian Splatting 仓库
关键词新视角合成、辐射场、各向异性高斯、可微光栅化、自适应加密

拍下一组照片,怎样让人自由地走进画面?

围着一辆自行车拍摄几十张照片,再在电脑里绕着它转动视角:车轮之间的空隙、后方的长椅和树叶,都应该随着观察位置自然变化。这需要恢复一种能从新位置生成图像的三维场景表示。仅仅在照片之间插值,很难正确处理遮挡和视差。

NeRF让这种新视角合成变得逼真,但生成一张图通常需要沿大量视线反复采样、累积颜色。即使场景已经学好,每次移动相机,仍要执行大量计算。训练速度、画质和显示速度,因此经常难以兼顾。

2023年的3D Gaussian Splatting,也就是3DGS,选择直接在三维空间中摆放一组可以学习的高斯。每个高斯有位置、大小、方向、透明度和随观察方向变化的颜色。相机移动时,把这些高斯投影到屏幕,再按遮挡关系混合,便能得到新图像。

原论文图1:同一场景的质量、训练时间与渲染帧率比较

图1给出的是一个具体场景的结果:短时间训练已经能得到可交互的画面,继续训练则补足更多细节。图中的单场景数字与后文的数据集平均值属于不同统计口径,阅读时需要分开。

这篇论文的关键,在于让表示方法、优化策略和GPU渲染器彼此配合:高斯足够灵活,可以贴合场景;数量能够随训练调整,可以覆盖缺失区域;投影和混合能够并行执行,可以迅速把它们变成图像。

为什么要用一团有方向的“雾”?

先看两种常见表示。网格把物体描述成相连的三角形,适合快速渲染,但从照片中优化拓扑和复杂细节并不容易。普通点云容易初始化,却只记录离散位置;点太稀会漏出空洞,点太大又会模糊边缘。

高斯给点增加了空间范围。它在中心最强,向外平滑衰减,多个高斯可以重叠覆盖,位置和形状变化时,图像通常也会连续变化。这种平滑性有利于利用图像误差计算梯度。

进一步说,高斯不必是球。它可以拉长、压扁、旋转:墙壁附近可以是一片扁椭球,细杆附近可以是一条细长椭球。作者用各向异性描述这种“不同方向具有不同尺度”的能力。

原论文图3:将优化后的高斯缩小后观察其分布

图3右侧把高斯缩小,用于观察它们怎样分布在火车结构上。这个操作只是可视化,并不是训练时的一步剪枝。看到的一串串小基元,也不意味着算法已经输出了一个闭合的三角网格。

把原论文公式(4)的中心化坐标展开,一个高斯可以写成:

$$ G(\mathbf{ p })=\exp\!\left[-\frac12(\mathbf{ p }-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\mathbf{ p }-\boldsymbol{\mu})\right]. \tag{4} $$

这里,$\mathbf{ p }$是空间中的查询位置,$\boldsymbol{\mu}$是高斯中心,$\boldsymbol{\Sigma}$是控制形状与方向的协方差矩阵。中心处指数为零,函数值为1;离中心越远,数值通常越小。矩阵决定了“远”应该沿哪些方向衡量:沿长轴移动同样距离,衰减比沿短轴慢。

这里使用的是未归一化的高斯核,不要求它在整个空间的积分等于1。一个基元对图像有多强的遮挡作用,还由单独学习的不透明度决定。

直接优化矩阵中的每个数,可能把它变成一个不合法的协方差矩阵。作者因此改为优化旋转与尺度:

$$ \boldsymbol{\Sigma}=\mathbf{ R }\mathbf{ S }\mathbf{ S }^T\mathbf{ R }^T. \tag{6} $$

$\mathbf{ S }$是三个轴向尺度组成的对角矩阵,$\mathbf{ R }$是旋转矩阵。实现中用指数映射得到正尺度,用归一化四元数表示旋转。这样既能控制椭球,又容易保持矩阵合法。

为什么这种形式有效?下面是对原式的补充推导。对任意向量$\mathbf{ v }$,有

$$ \mathbf{ v }^T\boldsymbol{\Sigma}\mathbf{ v } =\left\|\mathbf{ S }^T\mathbf{ R }^T\mathbf{ v }\right\|_2^2\geq0. $$

也就是说,矩阵对应的二次型不会出现负值。这个分解把数学约束转化成了容易优化的参数形式。

三维椭球怎样落到二维屏幕?

原论文图2:初始化、投影、可微渲染和自适应密度控制

图2从左到右展示了完整过程。输入照片首先通过运动恢复结构,即SfM,得到相机参数和稀疏点云。每个点被初始化为一个高斯,随后投影到当前相机的屏幕上,形成二维椭圆状的覆盖区域。渲染图与真实照片比较后,误差沿蓝色箭头反向传回,调整三维参数。

高斯中心可以直接进行透视投影,但高斯的整体形状需要进一步处理。作者在中心附近,把透视变换近似为一个局部线性变换,再传播协方差:

$$ \boldsymbol{\Sigma}'=\mathbf{ J }\mathbf{ W }\boldsymbol{\Sigma}\mathbf{ W }^T\mathbf{ J }^T. \tag{5} $$

$\mathbf{ W }$表示视图变换在协方差上的线性作用,$\mathbf{ J }$是投影变换的雅可比矩阵。按原文约定,最后取屏幕方向对应的二维协方差,得到椭圆的尺度和方向。

这一步可以从熟悉的针孔相机理解。设相机坐标为$(X,Y,Z)$,像素坐标为

$$ u=f_xX/Z+c_x,\qquad v=f_yY/Z+c_y. $$

对三个坐标求偏导,得到下面这个补充说明用的二维投影雅可比:

$$ \mathbf{ J }_{\pi}=\begin{bmatrix} f_x/Z&0&-f_xX/Z^2\\ 0&f_y/Z&-f_yY/Z^2 \end{bmatrix}. $$

它回答了一个具体问题:空间位置发生一点变化,屏幕位置会朝哪个方向移动多少。把三维协方差左右乘上这个局部变换及其转置,就能把三维形状近似传到二维。

因此,3DGS的屏幕椭圆来自局部仿射近似。它不是对任意大高斯进行精确的透视投影;这一点也与后续2DGS关注的透视一致表面求值有关。

每个高斯还携带球谐系数,用于根据观察方向计算颜色。可以把球谐理解为一组描述方向变化的基函数:低阶表示平缓变化,高阶增加方向细节。原文逐步启用0到3阶,共4个频带、16个方向基函数,每个RGB通道各有一组系数。

这使模型能够拟合部分视角相关外观。不过,球谐颜色记录的是采集光照下“从这个方向看是什么颜色”,没有把光源、反射率和材质分开,因而不直接提供任意换光能力。

一个像素被多个高斯覆盖,应该听谁的?

假设屏幕上某个像素先看到一层半透明的前景,后面还有物体和背景。前景越不透明,后面的颜色就越难透过来。这个规则正是前向透明度混合。

为避免把基元自身的不透明度与像素处的实际贡献混淆,下面把前者记为$o_i$,把后者记为$a_i(\mathbf{ p })$。这是解释时的符号区分:

$$ a_i(\mathbf{ p })=o_iG_i^{2D}(\mathbf{ p }). $$

靠近投影高斯中心的像素,受到它的作用较强;离开中心后,作用逐渐衰减。按照从近到远的顺序,原论文公式(3)的混合关系为:

$$ \mathbf{ C }=\sum_{i\in\mathcal{N}}\mathbf{ c }_i a_i\prod_{j<i}(1-a_j). \tag{3} $$

$\mathbf{ c }_i$是颜色,$a_i$是当前位置的不透明度,乘积表示前面所有高斯还留下了多少透光机会。若前两层不透明度分别为0.6和0.5,第一层的颜色权重是0.6,第二层是$(1-0.6)\times0.5=0.2$,还剩0.2的透光率留给后方。

这与NeRF的体渲染具有相通的合成结构。NeRF中一个小采样区间的不透明度通常写成$1-\exp(-\sigma_i\delta_i)$;将它记为$a_i$,累积透光率就同样成为前面各项$(1-a_j)$的乘积。

两者的联系在于颜色合成规则。3DGS计算的是投影高斯对像素的覆盖,不需要像原始NeRF那样沿每条视线进行密集步进采样;也不能仅凭形式相似,就认定它精确计算了同一个连续体积分。

已经有了高斯,为什么还要不断复制和分裂?

SfM给出的点云是稀疏的,有纹理的区域点多,光滑区域可能点少。只移动这些初始点,很难同时填上空白、恢复细结构,又保持合理的计算量。因此,3DGS把参数优化与数量调整交替进行。

训练时随机选取一个相机视角,渲染图像,与照片比较。原论文的目标函数是:

$$ \mathcal{L}=(1-\lambda)\mathcal{L}_1+\lambda\mathcal{L}_{D\text{-}SSIM},\qquad \lambda=0.2. \tag{7} $$

$\mathcal{L}_1$约束像素颜色差异,结构相似性对应的损失帮助关注局部图像结构。梯度通过渲染过程传回中心、尺度、旋转、不透明度和球谐系数,再由Adam更新这些参数。这里没有一个负责逐点预测颜色的MLP;被学习的核心就是这些显式场景参数。

但误差较大并不一定意味着“把现有高斯再挪一点”就能解决。作者统计高斯视空间位置梯度的大小:如果一个区域持续需要明显调整,通常意味着它的当前表达不够合适。原文在预热后每100次迭代检查一次,用平均梯度阈值0.0002筛选需要加密的高斯。

原论文图4:小高斯复制与大高斯分裂

图4上排对应覆盖不足:已有高斯比较小,附近仍有区域需要表示,就复制高斯,再继续优化,让更多基元分担覆盖。下排对应表达过粗:一个较大的高斯跨过了复杂结构,就把它替换成两个更小的高斯,让它们分别调整。

分裂时,子高斯的位置按原高斯的空间分布采样,尺度按1.6的因子缩小。这个规则服务于加密与优化,不应解释为严格的物理质量或体积守恒。

与此同时,近乎透明、已经不起作用的高斯会被移除,过大的基元也会在相应阶段被处理。作者还每3000步把不透明度压到接近零,让有观测支持的高斯在后续优化中重新增强,而无效基元逐渐被剪掉。这有助于控制漂浮伪影与无依据的增长。

这里所谓“密度控制”,说的是高斯基元在场景中的分布与数量,不能直接等同于体渲染公式中的消光密度$\sigma$。

原论文图8:去掉分裂或复制后,自行车区域的重建差异

图8把这两种操作的效果放在一起。缺少分裂,大基元难以细化复杂轮廓;缺少复制,局部覆盖仍可能不足。二者针对不同情形,配合起来才能更完整地恢复细杆和轮廓。它们是离散的结构调整,不是对“新增几个高斯”这个整数直接求导。

真正让画面跑起来的,是怎样安排GPU工作

如果每个像素都去检查整个场景的几百万个高斯,即使用了显式表示,也很难实时。作者因此把屏幕分成16×16像素的图块,只让像素处理覆盖当前图块的高斯。

具体来说,渲染器先剔除视锥外的基元,再计算屏幕覆盖范围。一个高斯若跨过多个图块,就为这些图块分别建立临时记录。记录带有图块编号和高斯的视空间深度,用一次GPU基数排序,把同一图块的记录聚在一起,并按深度排列。

这里生成的是渲染期间的索引记录,与训练中的“复制高斯”不同,不会因此增加持久场景模型中的基元数。

接着,每个线程块负责一个屏幕图块,分批把相关高斯装入共享内存;像素线程沿从近到远的顺序累积颜色。若前方已经几乎完全遮住背景,就提前停止,省去后面贡献极小的计算。

这种组织方式同时减少了空区域计算、重复数据访问和无效透明度混合。它也保留了近似:排序主要依据高斯的深度,而不是为每个像素重新求一个精确的几何交点顺序。高斯很大或观察位置变化时,顺序跳变可能产生可见伪影。

训练还要求反向传播。如果为每个像素保存所有中间混合状态,内存开销会很大。作者让反向过程复用排序列表,从后向前遍历,并借助前向记录的最终状态恢复所需信息。

可以用透光率递推理解这一思想。以下是解释递推关系的补充推导:

$$ T_{i+1}=T_i(1-a_i)\quad\Longrightarrow\quad T_i=\frac{T_{i+1}}{1-a_i}. $$

已知后一步的透光率,就能在数值条件允许时恢复前一步,而不必逐层存下全部状态。实现还会限制不透明度、跳过极小贡献,以改善数值稳定性。这里的可微主要针对局部固定排序与可见性条件下的连续参数;排序、剔除和增删基元本身仍有离散变化。

实验里,快和好分别体现在哪里?

作者在13个真实场景上评价方法:Mip-NeRF360的9个场景、Tanks and Temples的2个场景,以及Deep Blending的2个场景。测试视角从输入序列中留出,用来检查模型能否合成没有参与训练的位置;每个场景单独训练。

原论文图5:九个真实场景的测试视角比较

图5第一列是真实照片,后面依次是本文、Mip-NeRF360、InstantNGP与Plenoxels。自行车的细杆、花园的叶片和室内物体边缘,展示了表示细节的差异。这些图支持视觉判断,整体质量仍要结合数值指标。

原论文表1:真实场景上的质量、训练耗时、帧率与存储

从表1提取3DGS两种训练长度,便于观察它自身的取舍。PSNR、SSIM越高越好,LPIPS越低越好;时间与帧率均为原表的数据集平均值。

数据集迭代次数PSNR↑SSIM↑LPIPS↓训练时间FPS↑模型存储
Mip-NeRF3607k25.600.7700.2796分25秒160523 MB
Mip-NeRF36030k27.210.8150.21441分33秒134734 MB
Tanks and Temples7k21.200.7670.2806分55秒197270 MB
Tanks and Temples30k23.140.8410.18326分54秒154411 MB
Deep Blending7k27.780.8750.3174分35秒172386 MB
Deep Blending30k29.410.9030.24336分02秒137676 MB

继续训练后,画质提高,但模型更大,渲染也略慢。这符合加密过程的直觉:更多高斯能够分担细节,同时带来更多投影与混合工作。

与质量基线相比,Mip-NeRF360方法在同名数据集上的PSNR是27.69,高于3DGS的27.21;3DGS的SSIM和LPIPS则更好。因此,原表支持的是质量接近或在部分指标上超过此前方法,同时大幅提高渲染速度,并非每项指标都第一。

硬件与计时也需要对齐:本文结果主要在A6000上测得,而Mip-NeRF360基线使用4张A100运行约12小时,原文按总GPU时记作48小时。这个数不能直接解释为同一张A6000上的实测墙钟时间。各数据集的评测分辨率也不同,表里的全部FPS不能统一标成“1080p实测”。

原论文图6:7k与30k迭代的局部变化

图6上排的火车场景,长时间训练明显减少了背景伪影;下排花园的差别小得多。这说明更多训练能带来多少改善,取决于场景本身,并不是所有画面都需要等比例增加计算。

原论文还在8个Synthetic NeRF场景上测试,平均PSNR为33.32。它说明方法也适用于受控的合成物体场景,但不能拿这个平均值替代真实室内外场景的表现。

哪些设计真的有用,消融实验怎样回答?

原论文表3:分裂、复制、球谐、各向异性等设计的消融

消融实验在Truck、Garden和Bicycle三个场景上进行。30k迭代时,完整方法平均PSNR为26.05;去掉分裂降到23.90,改成各向同性降到25.23,去掉球谐降到25.35。它们分别对应局部细化、形状适配和方向外观的贡献。

若把反向传播贡献限制在前10个相关基元,平均PSNR降到19.19。这个结果解释了为什么渲染器不仅要快,还要让足够多的相关高斯获得梯度。前向看起来接近的简化,可能妨碍后续优化。

原论文图10:各向同性与各向异性表示的比较

图10的Ficus示例中,两种配置都限制最多5k个高斯,便于观察表示差异。图中的细枝、车轮和植物进一步说明:允许基元拉长与旋转,可以用更贴合结构的形状覆盖场景。不过,消融是特定场景与设置下的证据;不能据此推断每个模块在每个单独场景上都严格提高所有指标。

从3DGS读到2DGS,以及人脸重建

3DGS成功解决了一个很具体的问题:怎样从多视角照片优化出高质量、可实时显示的场景外观。它让三维表示直接进入GPU擅长的投影与混合流程,又通过自适应增删基元维持表达能力。

这也帮助理解后续工作的切入点。对于2DGS,关注点进一步转向具有一致表面解释的几何;对于可重打光头像,必须继续处理材质与光照的分离;对于偏振引导的人脸重建,还需要把偏振观测提供的物理约束接入优化。这些任务都超出了原始3DGS的RGB外观拟合目标。

原论文图11:背景区域的失败案例比较

原文没有回避不足。观测稀疏或缺少训练视角覆盖时,场景仍可能出现漂浮物、拉长的高斯和不稳定背景;图11中两种方法都有各自的伪影。模型常包含百万量级的高斯,数百MB存储也明显高于小型神经网络表示。训练峰值显存和模型文件大小还是不同的开销,不能混为一谈。

因此,渲染出的毛孔纹理清晰,并不足以证明毛孔的三维深度已经准确恢复。评价几何还需要独立的几何真值、表面误差或其他有针对性的证据。原论文主要报告的是图像质量、训练与渲染效率,没有提供毛孔级人脸几何验证。

读懂这篇基础论文,最有价值的是理解这套方法如何协同工作:连续可调的高斯让图像误差能够反向优化场景,自适应加密把表达能力放到需要的位置,图块化渲染器再把这些基元高效地转成画面。后续研究对几何、反射和人脸细节的改进,正是在这套机制上加入新的约束与表示能力。

现在已有 3 次阅读,0 条评论,0 人点赞
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号