网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

SIGGRAPH2024|面向几何精确辐射场的二维高斯溅射

洗子

·

🎓学习录

·

Article

一张渲染图看起来像真的,并不意味着它背后的三维表面也准确。

用3D高斯溅射重建一张桌子,换角度观看时,桌面纹理可能很清楚;但把模型转换为三角网格,桌面却可能出现波纹、浮点或孔洞。原来让照片吻合的颜色与透明度组合,并没有唯一确定一张平整的桌面。

这篇SIGGRAPH2024论文研究的就是这种差别。作者希望保留高斯溅射的高效渲染,同时让表示更接近真实表面。他们把有厚度的三维高斯改为放置在三维空间中的二维高斯圆盘,再让像素射线与圆盘求交,直接得到几何位置。

二维高斯、辐射场与网格

图1|左侧为二维圆盘及其法线,中间为渲染颜色与表面法线,右侧为提取的三角网格。来源:原论文图1。

图1的三部分对应整篇论文的逻辑:先决定用什么表示表面,再决定怎样渲染这些表面,最后从可信的深度中提取网格。两项正则约束贯穿训练,让圆盘的位置和朝向共同接近一张真实表面。

论文信息

项目内容
英文标题2D Gaussian Splatting for Geometrically Accurate Radiance Fields
中文标题面向几何精确辐射场的二维高斯溅射
发表SIGGRAPH 2024,Conference Papers
作者Binbin Huang、Zehao Yu、Anpei Chen、Andreas Geiger、Shenghua Gao
机构上海科技大学、图宾根大学、Tübingen AI Center
项目主页https://surfsplatting.github.io/
论文https://arxiv.org/abs/2403.17888
DOIhttps://doi.org/10.1145/3641519.3657428
官方代码https://github.com/hbb1/2d-gaussian-splatting
关键词二维高斯、表面元、透视正确溅射、深度畸变、法线一致性、网格提取

一、3D高斯能把图像拟合好,为什么还会长出错误几何?

一个3D高斯可以理解为三维空间中一团具有方向、大小、颜色和不透明度的柔软椭球。许多椭球投影到屏幕上,从前到后混合,就能生成图像。

对于新视角合成,这种表达很有效。但如果目标是重建桌面、雕塑或墙壁,实体表面通常是一层薄边界。一团有厚度的高斯究竟哪一层属于表面,并没有被直接指定。

此外,3DGS使用局部仿射近似,把三维高斯投影成屏幕上的二维高斯。这种近似在高斯中心附近较准确,在离中心较远的位置、较大的基元或倾斜观察下,可能产生更明显的投影与深度误差。

这里需要区分:3D高斯的中心与形状仍然固定在三维空间中。问题在于它的体积表达与投影求值方式,没有像一张明确平面那样,为不同视角提供一致的表面交点。

3DGS与2DGS的几何求值差别

图2|左侧示意3D高斯在不同视角下的求值平面,右侧示意二维高斯使用固定表面平面。来源:原论文图2。

作者选择从表示本身着手:每个高斯直接成为一小块有方向的表面。相机换位置时,看到的还是同一块平面,射线只是在这块平面上落到不同位置。

“二维”描述的是每个基元内部的坐标维度。整个场景仍然是三维的,圆盘可以位于任意三维位置,也可以朝向任意方向。

二、一个二维高斯,怎样放进三维世界?

二维高斯的局部切平面

图3|左侧为三维空间中的局部切平面,右侧为投影后的像素采样。来源:原论文图3。

每个圆盘由中心$\mathbf{ p }_k$、两个正交切向量$\mathbf{ t }_u$与$\mathbf{ t }_v$、两个尺度$s_u$与$s_v$描述。局部坐标$(u,v)$对应三维点,原论文式(4)为:

$$ P(u,v)=\mathbf{ p }_k+s_u\mathbf{ t }_u u+s_v\mathbf{ t }_v v. \tag{4} $$

这个式子从中心开始,沿两个切向方向分别走一定距离。两条轴张成一个平面,尺度决定高斯在平面上沿两个方向延伸多远。

在局部坐标中,高斯值为:

$$ \mathcal G(u,v)=\exp\left(-\frac{u^2+v^2}{2}\right). \tag{6} $$

中心贡献最大,向边缘平滑衰减。圆盘因此是带高斯权重的局部平面元,并非一块边界截然分明、完全不透明的硬椭圆。

它的法线自然由两个切向量给出:

$$ \mathbf{ n }=\mathbf{ t }_u\times\mathbf{ t }_v. $$

这来自原文对局部坐标系的定义。法线与圆盘朝向属于同一个几何参数化,旋转圆盘就会同时改变它的平面和法线。

作者仍为每个基元保留不透明度和球谐表示的视角相关颜色,并优化中心、旋转与两个尺度。仅有这些设置还不够,渲染过程也必须承认它是一块平面。

三、把高斯压扁之后,为什么还要重新设计渲染?

可以做一个直观实验:把一组二维圆盘铺在同一平面上,斜着看它们。即使圆盘没有厚度,若仍使用原来的仿射投影近似,估计出的深度也未必保留每块圆盘应有的平面形状。

同一平面上圆盘的透视投影

图7|右侧比较2DGS与沿用3DGS式仿射近似的结果,分别展示颜色与深度。来源:原论文图7。

图7中,颜色上的差别未必十分刺眼,深度却暴露了投影误差。论文附录还专门把3D高斯的一个尺度设置到$10^{-6}$,构造“很薄但仍用仿射光栅器”的基线,验证压薄表示与更换渲染器是两项不同的改进。

2DGS的做法是,对每个像素找到射线与圆盘平面的真实交点,再计算交点处的高斯值与深度。这称为透视正确的射线—基元求交。

四、求交公式其实是在解两个一次方程

这部分看似复杂,但核心可以从一个简单问题理解:一个三维点要投影到指定像素,必须同时满足该像素的横坐标与纵坐标条件。

作者在齐次投影空间中,用两个平面的交线表示像素射线。像素$(x,y)$对应:

$$ \mathbf{ h }_x=(-1,0,0,x)^T,\qquad \mathbf{ h }_y=(0,-1,0,y)^T. $$

$\mathbf{ H }$将局部圆盘坐标映射到三维齐次坐标,$\mathbf{ W }$将世界坐标映射到屏幕齐次空间。把像素平面的条件带回局部圆盘坐标,原论文式(8)为:

$$ \mathbf{ h }_u=(\mathbf{ W }\mathbf{ H })^T\mathbf{ h }_x, \qquad \mathbf{ h }_v=(\mathbf{ W }\mathbf{ H })^T\mathbf{ h }_y. \tag{8} $$

为什么是转置?设局部齐次点为$\mathbf{ q }$,它落在像素平面上的条件是$\mathbf{ h }_x^T\mathbf{ W }\mathbf{ H }\mathbf{ q }=0$。将乘法重新结合,就得到$[(\mathbf{ W }\mathbf{ H })^T\mathbf{ h }_x]^T\mathbf{ q }=0$。这是对原式的补充解释,整个过程不需要显式求投影矩阵的逆。

随后要求局部点$(u,v,1,1)^T$同时落在两个变换后的平面上。由于相应第三分量为零,原论文式(9)变成两个关于$u,v$的线性方程:

$$ \begin{cases} h_u^1u+h_u^2v+h_u^4=0,\\ h_v^1u+h_v^2v+h_v^4=0. \end{cases} $$

为便于阅读,这里将原式(9)的点积写开。令行列式$\Delta=h_u^1h_v^2-h_u^2h_v^1$,用二元一次方程的消元或克拉默法则,就得到原论文式(10):

$$ u(x,y)=\frac{h_u^2h_v^4-h_u^4h_v^2}{\Delta}, \qquad v(x,y)=\frac{h_u^4h_v^1-h_u^1h_v^4}{\Delta}. \tag{10} $$

得到$(u,v)$后,式(4)告诉我们交点在哪里,投影关系给出交点深度,式(6)给出它对当前像素的高斯权重。这几步共同把颜色采样与三维几何位置绑定起来。

这里的局部$(u,v)$是单个圆盘的切平面坐标,与人脸材质贴图的整脸UV展开是不同的概念。

五、圆盘侧过来只剩一条线时,怎样继续优化?

圆盘被斜着看时,投影可能窄到几乎覆盖不到像素;接近侧视的几何求交也会变得病态。训练不能简单地把这些基元都硬性丢掉,否则微小旋转就可能引起可见贡献突然变化。

作者加入一个最小屏幕覆盖。原论文式(11)为:

$$ \hat{\mathcal G}(\mathbf{ x })= \max\left\{\mathcal G(\mathbf{ u }(\mathbf{ x })), \mathcal G\left(\frac{\mathbf{ x }-\mathbf{ c }}{\sigma}\right)\right\}. \tag{11} $$

$\mathbf{ c }$是圆盘中心在屏幕上的投影,$\sigma=\sqrt2/2$。第一个值来自真实平面求交,第二个提供一个固定大小的屏幕高斯下界,帮助细小或侧视基元保留一定像素覆盖。

这是稳定光栅化与优化的处理,不意味着任何接近退化的视角都能恢复可靠几何。它也让我们看到,“透视正确”主要指平面求交,整套离散渲染仍包含像素覆盖等工程近似。

之后,2DGS沿用高效的分块光栅化:计算包围盒,按基元中心深度排序,分配到屏幕小块,再从前向后进行透明度混合。

原论文式(12)的核心为:

$$ \mathbf{ c }(\mathbf{ x })=\sum_i\mathbf{ c }_i\alpha_i\hat{\mathcal G}_i \prod_{j<i}(1-\alpha_j\hat{\mathcal G}_j). \tag{12} $$

$\alpha_i\hat{\mathcal G}_i$表示当前交点的覆盖贡献,前面的乘积表示经过更前方基元后还剩多少可见性。为了紧凑,这里省略高斯求值位置的重复记号。

排序依据仍是中心深度,而非每个像素交点的严格重新排序。因此,二维平面改进了局部几何求值,也不能直接推出全局渲染已经没有排序误差。

六、照片吻合之后,还需要让深度聚成一层

多个半透明圆盘分散在一条射线上,仍可能混合出正确颜色。颜色误差并不关心它们沿射线相隔多远;但对于不透明物体,通常希望可见贡献集中在表面附近。

作者用深度畸变损失约束这种分散。原论文式(13)为:

$$ \mathcal L_d=\sum_{i,j}\omega_i\omega_j|z_i-z_j|. \tag{13} $$

$z_i$、$z_j$是两个圆盘交点的深度,$\omega$就是透明度混合时的可见贡献。两个贡献都大、深度又相差很远,就会受到较大惩罚;其中一个几乎不可见,影响就很小。

假设一条射线上两个交点的权重都为0.5,深度相差1。按式(13)的全配对求和,两个非零方向项合计为0.5;两点靠到同一深度,损失变成0。这只是帮助理解的数值例子。

不过,实际实现与这条主文公式有差别。附录A使用平方差,并先把深度转换到NDC空间,以减弱远处基元的影响。平方差也不要求交点深度已经严格排序,这与中心排序的光栅流程相适应。

其形式是每对交点计一次:

$$ \mathcal L=\sum_i\sum_{j<i}\omega_i\omega_j(m_i-m_j)^2, \qquad m_i=\operatorname{NDC}(z_i). $$

这来自原论文式(17)的第一行,和式(13)的原始深度绝对差并非同一表达。

七、两两比较看起来很慢,为什么还能放进快速渲染器?

若对一条射线的每对交点都显式比较,计算量会随交点数量平方增长。附录将平方差展开,变成可以逐点累计的形式。

定义前面交点的累计量:

$$ A_{i-1}=\sum_{j<i}\omega_j,\quad D_{i-1}=\sum_{j<i}\omega_jm_j,\quad Q_{i-1}=\sum_{j<i}\omega_jm_j^2. $$

这里用$Q$指代原文记作$D^2$的二阶累计量,便于避免把它误读成$D$的平方。将$(m_i-m_j)^2=m_i^2+m_j^2-2m_im_j$展开、分别合并求和,就得到原论文式(17)的等价写法:

$$ \mathcal L=\sum_i\omega_i \left(m_i^2A_{i-1}+Q_{i-1}-2m_iD_{i-1}\right). \tag{17} $$

渲染器走到第$i$个交点时,只要读取前面的三个累计值,就能计算它与所有前方交点的畸变贡献,再更新累计量。每条射线因此可以线性扫描完成。

梯度还会传到交点深度,进而推动圆盘移动。这个损失的作用不只是平滑一张事后生成的深度图,它参与了三维基元的位置优化。

八、深度接近了,还要让圆盘朝向与表面一致

一堆圆盘中心即使落在同一层,也可能朝向凌乱。2DGS因此再提出一个问题:圆盘自己的法线,是否与它们共同渲染出的表面法线一致?

作者先从深度图反投影得到邻近三维点$\mathbf{ p }_s$,沿图像两个方向计算有限差分,再叉乘得到法线。原论文式(15)为:

$$ \mathbf{ N }(x,y)= \frac{\nabla_x\mathbf{ p }_s\times\nabla_y\mathbf{ p }_s} {\|\nabla_x\mathbf{ p }_s\times\nabla_y\mathbf{ p }_s\|}. \tag{15} $$

这和用两个表面切向量确定垂直方向,是同一个基础几何关系。透视相机下,先反投影到三维再计算方向很重要,不能只把深度数值当成正交高度场。

随后,原论文式(14)让各圆盘法线接近这个方向:

$$ \mathcal L_n=\sum_i\omega_i(1-\mathbf{ n }_i^T\mathbf{ N }). \tag{14} $$

$\mathbf{ n }_i$朝向相机,$\mathbf{ N }$来自深度;方向一致时,点积接近1,损失较小。贡献较大的圆盘受到更强约束。

这是一种模型内部的几何一致性,没有额外输入真值法线。它要求“我的朝向”和“我共同形成的表面朝向”相吻合,但不能独立保证这张表面已经等于真实物体。

两种正则分别解决什么问题

图6|输入、去掉法线一致性、去掉深度畸变、完整模型。来源:原论文图6。

看屋顶和墙面:去掉法线约束,局部朝向噪声较多;去掉深度畸变,结果在一些区域更模糊。两者一起使用,才更容易兼顾平面稳定与边缘清楚。

最终优化目标为原论文式(16):

$$ \mathcal L=\mathcal L_c+\alpha\mathcal L_d+\beta\mathcal L_n. \tag{16} $$

颜色损失$\mathcal L_c$使用L1与D-SSIM;深度损失权重在有界场景为1000、无界场景为100,法线权重为0.05。这里的$\alpha$是损失权重,与前面每个高斯的不透明度$\alpha_i$区分。

九、圆盘怎样变成可以使用的三角网格?

训练从带相机位姿的多视角图像和稀疏标定点云开始。作者使用自定义CUDA渲染器,并延续3DGS的增密与剪枝思路,逐步增加需要的基元、移除低不透明度基元。

训练后,作者没有简单把圆盘中心连成三角形,而是从多个训练视角渲染深度,再使用Open3D的TSDF融合提取网格。TSDF让不同视角共同约束一个体积中的表面零交叉。

深度可以有两种读法。原论文式(18)的均值深度为:

$$ z_{mean}=\frac{\sum_i\omega_i z_i}{\sum_i\omega_i+\epsilon}. \tag{18} $$

分母归一化很重要,否则透明度较低的地方会被错误缩放。均值会综合多个贡献,但也容易被较远的异常贡献拉偏。

主文网格提取采用另一种中位深度规则。附录式(19)为:

$$ z_{median}=\max\{z_i\mid T_i>0.5\}. \tag{19} $$

$T_i$是到第$i$个交点之前的剩余透射率,0.5用于界定表面与自由空间。它依据可见贡献的累积位置,和“把所有深度排序后取中间那个数”不同。若总不透明度未到0.5,原文选择最后一个可见基元。

主文消融中,中位深度比均值更稳健。官方当前代码也提供两者选择,因此做实验时需要记录所用配置,而不是把“2DGS深度”视作只有一种定义。

深度和由深度计算的法线

图8|比较Mip-NeRF360、3DGS和2DGS的深度;上部额外展示3DGS与2DGS由深度梯度得到的法线。来源:原论文图8。

这张图最值得看的是桌面和细杆。深度整体形状都可能像一张桌子,但法线图把局部抖动放大了:3DGS桌面有较多方向噪声,2DGS更平稳,有助于后续融合。图中的单例SSIM不能当成整套数据集的平均结论。

十、几何到底改善了多少?先看DTU

DTU实验使用15个场景,每个场景49或69张图像。作者用COLMAP生成稀疏点云,将图像降至800×600进行训练。论文中的几何比较使用提取网格,而不是只看渲染截图。

Chamfer距离可以直观理解为双向最近邻误差:重建表面的点到参考表面有多远,参考表面的点又能否在重建里找到近邻。两边都要看,才能同时关注准确性和完整性。

方法平均CD ↓时间
VolSDF0.86>12小时
NeuS0.84>12小时
3DGS1.9611.2分钟
SuGaR1.33约1小时
2DGS,15k迭代0.835.5分钟
2DGS,30k迭代0.8010.9分钟

据原论文表1选取平均列和时间;CD按原表评测尺度报告,越低越好。

在这个基准中,30k版2DGS将CD从3DGS的1.96降到0.80,下降约59.2%,同时保持相近训练时间。这一比例按$(1.96-0.80)/1.96$计算,只对应该表设置。

相对于表中需要12小时以上的方法,5.5分钟版本的时间差超过两个数量级。这支持论文所强调的效率优势,但不能转成所有场景、所有硬件与全部流程都固定快100倍。

DTU表面重建比较

图5|输入、3DGS、SuGaR与2DGS。来源:原论文图5。

建筑表面和玩偶上的噪声减少,与两项正则的设计相呼应。不过,平滑得更好不自动表示所有细节都更准确,仍要结合参考几何与完整性指标。

十一、更大场景与图像指标,呈现的是另一组取舍

在Tanks and Temples上,结果没有变成2DGS全面领先。

方法平均F1 ↑时间
NeuS0.38>24小时
Geo-Neus0.35>24小时
Neuralangelo0.50>24小时
SuGaR0.19>1小时
3DGS0.0914.3分钟
2DGS0.3215.5分钟

据原论文表2的平均与时间整理,F1同时反映阈值下的准确性与完整性。

2DGS明显改善了表中显式方法的几何,同时远快于这些隐式方法;但平均F1仍低于NeuS、Geo-Neus和Neuralangelo。它的优势应结合重建质量与时间共同理解。

更大场景的网格

图10|Tanks and Temples中的仓房、机械、雕塑与室内场景。来源:原论文图10。

外观也有代价。DTU表3中,30k版2DGS的训练视角PSNR为34.52,低于3DGS的35.76;模型存储则从113 MB降到52 MB。这是相应实验中的资产大小,不能把52 MB当成任意场景固定大小。

Mip-NeRF360的测试视角结果更能反映新视角合成:

方法室外PSNR ↑室外SSIM ↑室外LPIPS ↓室内PSNR ↑室内SSIM ↑室内LPIPS ↓
3DGS24.640.7310.23430.410.9200.189
2DGS24.340.7170.24630.400.9160.195

据原论文表4选取;PSNR单位为dB。

2DGS的图像质量有竞争力,但在这组平均指标里均略逊于3DGS。本文更明确的收益,是改善深度、法线和网格,而非让所有渲染指标同步提高。

十二、消融实验能否把收益归因到具体设计?

原论文表5在DTU上以15k迭代检查正则和网格提取:

设置准确性误差 ↓完整性误差 ↓平均误差 ↓
去掉法线一致性1.351.131.24
去掉深度畸变0.890.870.88
改用均值深度0.881.010.94
改用SPSR提网格1.250.891.07
完整模型0.790.860.83

这张表说明,法线一致性在该设置中的影响较大,深度聚集和稳健深度选择也有收益。SPSR使用圆盘中心与法线提面,却不能同样利用圆盘大小和不透明度,因而弱于本文的深度融合路线。

附录表6又在30k迭代下拆开投影方式:仿射近似加均值TSDF的平均误差为1.08,改用本文求交光栅器后降到0.88,再用中位深度降到0.80。它为“只压薄高斯还不够”提供了更直接的证据。这里的30k结果与上面的15k消融分开读取。

完整DTU几何结果

图9|上半为2DGS,下半为3DGS,均从深度图通过TSDF提取网格。来源:原论文图9。

两个方法采用同一类融合方式之后仍有明显差别,说明收益来自表示、渲染和训练约束的共同改变,而不只是事后换了一个提网格工具。

十三、对毛孔级人脸重建,有什么直接启发?

2DGS让基元带有明确切平面和法线,并将射线深度与表面朝向绑定起来。对于需要把偏振法线信息接入高斯表示的研究,这提供了一个清楚的接口:外部观测可以约束基元朝向,深度与法线的内部一致性则帮助避免两套几何各说各话。

这属于基于本文机制的研究延伸。原文输入是多视角RGB与稀疏点云,没有偏振测量,也没有人脸毛孔级评估。朝向更一致、网格更平滑,都不能替代细小凹凸的独立尺度验证。

作者还明确指出,当前增密更偏向纹理丰富的区域,未必能为几何细节丰富但颜色平坦的区域分配足够基元。这一点对皮肤尤其值得关注:毛孔形状不总能用强烈的颜色变化表示,单靠照片梯度决定增密位置可能遗漏关键结构。

同时,法线与深度正则也可能过度平滑。需要保留的微小起伏,与需要抑制的噪声,不能仅凭“表面看起来更平”来区分。

透明和强高光区域的失败

图12|玻璃等半透明材料难以准确恢复;强高光区域也可能出现孔洞。来源:原论文图12。

图12说明材料仍是重要边界。方法的提面流程以不透明表面为主要假设,对透射玻璃和强高光区域仍会失效。二维高斯改进了几何表达,没有自动完成材质、光照与透射的物理分解。

这篇工作的核心进展,是让高斯渲染更直接地承接“表面在哪里、朝向哪里”这两个几何问题。圆盘表示、透视求交、深度聚集与法线一致性共同工作,才让高效的新视角渲染进一步变成可提取、可评价的表面重建。

现在已有 3 次阅读,0 条评论,0 人点赞
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号