网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

ICCV2025|PolGS:用于快速反光表面重建的偏振高斯溅射

洗子

·

🎓学习录

·

Article

一只表面光亮的陶瓷猫头鹰,拍成照片很容易,恢复成准确的三维形状却不容易。

相机稍微移动,陶瓷上的高光就跟着移动。同一个位置,在不同照片中可能忽明忽暗。对于依赖多张图像寻找一致性的重建算法来说,这些变化很容易被误当成纹理,甚至被解释成不存在的凹凸。

神经隐式表面方法能较好地处理这类问题,但往往需要长时间优化。3D高斯方法快得多,可“渲染得像”并不必然等于“形状恢复得准”。

PolGS想缩小的,正是这两者之间的差距:保留高斯表示的效率,同时用偏振约束改善反光物体的表面几何。

反光物体的重建质量与时间比较

图1|左侧比较输入与不同方法的网格重建,右侧展示误差与耗时的折中。该示例中PolGS约用7分钟;这不是相机采集时间或渲染每帧耗时。来源:原论文图1。

它的关键做法,是让高斯表面、镜面反射和偏振成像共同解释观测:模型不仅要生成正确的亮度,还要生成与真实图像一致的偏振分量。

论文信息

项目内容
英文标题PolGS: Polarimetric Gaussian Splatting for Fast Reflective Surface Reconstruction
中文标题PolGS:用于快速反光表面重建的偏振高斯溅射
发表ICCV 2025
作者Yufei Han、Bowen Tie、Heng Guo、Youwei Lyu、Si Li、Boxin Shi、Yunpeng Jia、Zhanyu Ma
机构北京邮电大学、雄安空天信息研究院、北京大学
项目主页https://yu-fei-han.github.io/polgs/
论文https://arxiv.org/abs/2509.19726
官方代码https://github.com/PRIS-CV/PolGS
资源状态官方仓库提供训练、渲染代码与数据准备说明
关键词偏振成像、高斯面元、反光表面、Stokes渲染、几何重建

一、为什么图像看起来正确,三维形状还会错误?

普通3DGS用许多三维高斯基元表示场景。多个基元投影到一个像素,再按不透明度混合,就能生成图像。

但这种混合有很大的自由度:不同位置、方向和不透明度的基元,有时可以产生接近的像素颜色。即使最终图像相似,基元也不一定排列成正确表面。

反光使这个问题进一步加重。高光会随着视角变化,模型可能用颜色参数吸收这种变化,也可能改变几何来降低误差。

PolGS选择Gaussian Surfels作为基础。它把高斯压成二维椭圆面元,每个面元都有一个明确的局部平面与垂直方向,比完整的三维椭球更适合描述表面。

但这还不够。面元的法线来自它的朝向,不透明度又是另一个参数;两者之间没有像隐式表面那样由同一个距离函数直接建立的几何关系。

隐式表面与高斯表面的约束关系

图2|上方以SDF表示说明表面、法线与密度之间的联系;下方说明高斯表示仍需要额外约束。图中的“没有直接关系”不意味着高斯参数在优化中完全互不影响。来源:原论文图2。

隐式表面方法通过有符号距离函数描述形状,法线可以由这个函数的梯度计算。PolGS则继续使用显式高斯面元,并引入偏振成像,让观测对法线施加额外约束。

二、先把高斯变成面元:让局部方向有几何含义

论文用旋转矩阵$R_i$和两个平面尺度$s_i^x,s_i^y$描述高斯面元,其协方差写为:

$$ \Sigma_i=R_i\operatorname{Diag}\!\left[(s_i^x)^2,(s_i^y)^2,0\right]R_i^\top. \tag{原式2中的面元形式} $$

两个非零尺度控制椭圆在平面内的大小,第三个方向压扁为0。$R_i$把这个椭圆转到空间中的某个方向,其第3列$R_i[:,2]$给出面元的垂直方向。

这里的重点是几何参数化:一个面元在某个位置展开,朝某个方向放置,而不是一团可以任意铺开的体积。

渲染时,多个面元按从前到后的顺序混合:

$$ C=\sum_iT_i\alpha_i c_i, \qquad T_i=\prod_{j<i}(1-\alpha_j). \tag{原式3} $$

$\alpha_i$是当前面元对像素的混合权重,$T_i$表示光到达它之前尚未被前方基元遮挡的比例。越靠前、越不透明的面元,对像素的影响通常越大。

深度与法线也能按类似方式累积。论文的像素法线表示为:

$$ \widetilde{\mathbf{ N }}= \frac{\sum_iT_i\alpha_iR_i[:,2]}{1-T_{n+1}}. \tag{原式6} $$

为什么分母是$1-T_{n+1}$?令$T_{i+1}=T_i(1-\alpha_i)$,则$T_i\alpha_i=T_i-T_{i+1}$。把它们求和,中间项抵消,就得到$\sum_iT_i\alpha_i=1-T_{n+1}$。

因此,这个分母是在按总覆盖权重取平均。它并不自动保证加权法线的长度为1,法线方向与单位化仍需在具体计算中区分。

有了这张法线图,模型才有了连接几何与偏振的入口。

三、偏振图像比RGB多提供了什么?

偏振相机提供$0^\circ$、$45^\circ$、$90^\circ$、$135^\circ$四种线偏振分析角度的图像。论文把它们转换成Stokes向量:

$$ S= \begin{bmatrix} \frac12(I_0+I_{45}+I_{90}+I_{135})\\ I_0-I_{90}\\ I_{45}-I_{135}\\ 0 \end{bmatrix} = \begin{bmatrix}s_0\\s_1\\s_2\\s_3\end{bmatrix}. \tag{原式8} $$

$s_0$是总强度,$s_1$和$s_2$是不同偏振方向的强度差。差值可以为负,因此它们并不是普通的非负颜色通道。本文不建模圆偏振,令$s_3=0$。

用线偏振分析器的基础关系可以理解这些差分:

$$ I(\phi)=\frac12\left[s_0+s_1\cos2\phi+s_2\sin2\phi\right]. $$

把$0^\circ$、$90^\circ$代入并相减,会留下$s_1$;把$45^\circ$、$135^\circ$代入并相减,会留下$s_2$。这说明Stokes转换并非给图像随意增加几个特征,而是提取偏振观测的物理分量。

反光物体在RGB图像中可能只有平滑的一片颜色,但$s_1,s_2$中可能仍有随表面方向变化的结构。这些变化可以补充RGB缺少的几何线索。

PolGS并不先把所有像素转换成一个确定的偏振法线,再让高斯去贴合。它选择了另一条路径:由当前模型渲染出Stokes分量,与真实Stokes观测比较,再通过误差反向优化几何。

四、完整流程:基础颜色、镜面反射与法线一起生成Stokes

PolGS完整流程

图3|高斯面元渲染出法线、深度与基础颜色,Cubemap Encoder提供镜面响应;偏振渲染模块生成Stokes向量,并由真实观测监督。来源:原论文图3。

这张流程图可以分成3步。

首先,高斯面元分支生成表面相关属性,包括基础颜色$C$、深度与法线。

其次,镜面分支根据观察方向与法线,计算反射方向,再查询Cubemap Encoder,得到镜面颜色$L_r$。Cubemap可以理解为用立方体的6个面组织方向信息。

最后,偏振成像模块把$C$、$L_r$和法线联系起来,生成预测Stokes向量$\hat S$。

这样,模型调整法线时,不仅影响形状和反射方向,也会改变预测的偏振分量;偏振误差因此能够把监督信号传回几何参数。

五、为什么把基础颜色的球谐降到0阶?

普通高斯方法可以用球谐函数让单个基元的颜色随观察方向变化。对于照片拟合,这种灵活性有用;但当模型另有一条镜面反射通路时,基础颜色太灵活,也容易吸收本应由镜面通路解释的变化。

因此,PolGS将基础颜色的球谐系数限制为0阶,使每个面元的基础颜色参数不随观察方向变化。

0阶球谐只有方向上的常数项。这样做相当于明确分工:面元保留较稳定的基础外观,视角相关的反射交给专门的镜面分支。

这里说的是单个面元的颜色参数。相机移动后,可见面元、遮挡与混合权重都会变化,因此不能理解为整张基础图像的每个像素在不同视角下都必须相同。

基础颜色也不自动等于严格意义上的固有反照率。它是本文渲染分解中的一个量,仍可能包含照明影响。

六、镜面分支怎样查询:先沿法线找到反射方向

论文的镜面颜色写为:

$$ L_r=E\!\left(2(\mathbf{ v }\cdot\mathbf{ n })\mathbf{ n }-\mathbf{ v }\right), $$

其中$E$是Cubemap Encoder,$\mathbf{ v }$为观察方向,$\mathbf{ n }$为单位法线。

这个反射公式可以由向量分解理解。把观察方向分成沿法线的分量与切平面分量:

$$ \mathbf{ v }=(\mathbf{ v }\cdot\mathbf{ n })\mathbf{ n }+\mathbf{ v }_t. $$

对相应的镜像方向,保留法线分量、翻转切向分量,就得到:

$$ \mathbf{ r }=(\mathbf{ v }\cdot\mathbf{ n })\mathbf{ n }-\mathbf{ v }_t =2(\mathbf{ v }\cdot\mathbf{ n })\mathbf{ n }-\mathbf{ v }. $$

这段展开解释了法线为什么重要:法线稍有变化,查询环境响应的方向就会变化,镜面反射也随之改变。

不过,本文Cubemap Encoder没有显式输出粗糙度参数。能拟合某些粗糙高光表面,不等于已恢复完整的粗糙度分布或所有材料属性。

七、最关键的公式:几何怎样进入偏振渲染?

本文假设入射环境光未偏振,将出射光拆成漫反射与镜面反射,并用偏振BRDF模型描述两者对Stokes向量的贡献。最终写为:

$$ \hat S= C\begin{bmatrix} T_o^+\\ T_o^-\cos2\phi_n\\ -T_o^-\sin2\phi_n\\ 0 \end{bmatrix} + L_r\begin{bmatrix} R^+\\ R^-\cos2\phi_h\\ -R^-\sin2\phi_h\\ 0 \end{bmatrix}. \tag{原式14} $$

$T_o^+,T_o^-$描述Fresnel透射相关系数,$R^+,R^-$描述Fresnel反射相关系数;$\phi_n$与法线的方位相关,$\phi_h$与微表面模型的半向量相关。正负上标是模型中的系数组合记号,并非“正光”和“负光”。

本文为简化计算,采用$\phi_h\approx\phi_n$的近似。将式14逐行展开,可以看到:

$$ \begin{aligned} \hat s_0&=CT_o^++L_rR^+,\\ \hat s_1&=CT_o^-\cos2\phi_n+L_rR^-\cos2\phi_h,\\ \hat s_2&=-CT_o^-\sin2\phi_n-L_rR^-\sin2\phi_h. \end{aligned} $$

只检查$s_0$时,模型主要需要把两种贡献的总亮度配对;加入$s_1,s_2$后,还要让带方向变化的偏振分量配对。几何方向与两类反射因此受到更多约束。

进一步使用本文的方位近似,令$A=CT_o^-+L_rR^-$,后两式可以整理成:

$$ \hat s_1=A\cos2\phi_n, \qquad \hat s_2=-A\sin2\phi_n. $$

这个整理也能看出它的边界:二倍角具有周期性,$A$又混合两种反射贡献,不能凭一个像素就保证得到唯一法线。PolGS依靠多视角、反射建模、掩码和几何一致性共同优化。

它增加的是与表面方向有关的观测约束,而不是把偏振歧义彻底变成一个没有多解的代数问题。

八、训练时,哪些误差一起管住模型?

总损失由5部分组成:

$$ \mathcal L=\mathcal L_{rgb} +\lambda_1\mathcal L_{pol} +\lambda_2\mathcal L_m +\lambda_3\mathcal L_o +\lambda_4\mathcal L_d. \tag{原式15} $$

损失管什么作用
$\mathcal L_{rgb}$总强度$s_0$让整体外观接近观测
$\mathcal L_{pol}$偏振差分$s_1,s_2$约束反射分解和表面方向
$\mathcal L_m$物体掩码限定前景轮廓与覆盖
$\mathcal L_o$基元不透明度减少大量中间透明度带来的模糊表达
$\mathcal L_d$深度与法线让两种几何描述保持一致

总强度与偏振损失为:

$$ \mathcal L_{rgb}=0.8\,L_1(s_0,\hat s_0) +0.2\,L_{DSSIM}(s_0,\hat s_0), \tag{原式16} $$

$$ \mathcal L_{pol}=L_1(s_1,\hat s_1)+L_1(s_2,\hat s_2). \tag{原式17} $$

前者同时检查像素强度与局部结构,后者直接检查带符号的偏振分量,不是单独监督AoP或DoLP。

深度—法线一致性写为:

$$ \mathcal L_d=1-\hat{\mathbf{ N }}\cdot N\!\left(V(\hat D)\right). \tag{原式20} $$

$V$把深度反投影成三维点,再由邻域点的叉积计算几何法线$N$。如果渲染法线与深度描述的是同一张表面,它们应当相互一致,不能各自给出一套矛盾的方向。

论文设置$\lambda_1=1$、$\lambda_2=0.1$、$\lambda_3=0.01$,并让$\lambda_4=0.01+0.1\,\mathrm{iteration}/15000$随迭代增加。

训练先进行1000次迭代的预热,再加入偏振信息与延迟反射。输入需要多视角偏振图像、相机位姿和物体掩码,因此这是一种针对已采集物体的优化重建方法。

九、实验看的是几何,而不只是图像画质

论文主要使用合成数据SMVP3D、真实数据RMVP3D,并在PANDORA和PISR数据上补充视觉比较。PANDORA缺少几何真值,因此不能与有真值数据一样进行定量形状评估。

几何指标包括Chamfer Distance(CD,单位毫米)与法线平均角误差(MAE,单位度)。CD衡量重建表面与真实表面之间的距离,MAE衡量法线方向偏差,两者越小越好。

高斯方法先得到点云,再通过Poisson表面重建生成网格用于评估。因此,表中的CD同时反映了高斯结果与网格提取环节,不能把它理解成单个高斯中心的误差。

合成松鼠的法线与角误差比较

图4|上行为法线,下行为角误差图。PolGS比若干高斯基线更平滑,但NeRO的法线误差仍明显更低。来源:原论文图4。

十、量化结果:高斯方法中更好的折中,仍有精度差距

下面按原文表2保留跨8个对象的平均结果。

方法表示MAE↓(°)CD↓(mm)报告耗时
NeROSDF8.274.108 h
MVASSDF9.015.7411 h
NeRSPSDF12.055.3910 h
PANDORASDF13.548.1710 h
3DGS-DR高斯19.7613.320.2 h
Re-3DGS高斯15.8914.120.4 h
Gaussian Surfels高斯面元18.5610.300.2 h
PolGS偏振高斯面元14.357.570.1 h

数据来自原文表2;粗体分别突出SDF组和高斯组的最低值。Gaussian Surfels的CD均值按原表保留,其与逐对象数值的算术平均存在不一致。

PolGS的平均MAE和CD优于表中的其他高斯方法,但它并没有全面追平SDF方法:NeRO为8.27°和4.10 mm,PolGS为14.35°和7.57 mm。

甚至PANDORA的平均法线误差13.54°也低于PolGS,只是平均CD更高。评价“形状恢复得怎样”,需要把两个指标一起看。

逐对象也存在例外。例如Dragon上,PolGS的MAE为24.23°,高于Gaussian Surfels的21.41°。因此,“平均更好”不等于每个对象都更好。

真实物体网格重建比较

图5|杯状物体与青蛙的重建比较。PolGS改善了部分高斯基线的破碎与噪声,但复杂细节仍与部分SDF结果存在差异。来源:原论文图5。

时间需要按论文的不同口径理解:摘要强调约10分钟内,图1示例为7分钟,表2以0.1小时粗略报告。不能把这些数值都当成同一个精确秒表记录,也不能当作任意物体的固定耗时。

论文在RTX 4090上实验。这些分钟级数字描述优化重建的时间,不是每秒能重建多少个动态物体;也不是采集、标定、预处理和所有后处理均包含在内的端到端承诺。

十一、偏振本身带来了多大收益?

完整模型与去掉$\mathcal L_{pol}$的模型相比,表2平均MAE从14.89°降到14.35°,CD从7.80 mm降到7.57 mm。

提升确实存在,但幅度不应夸大。相对其他高斯方法的整体收益,还包含面元表示、0阶基础颜色、Cubemap反射与其他训练约束的共同作用,不能全部归因于偏振损失。

偏振损失消融

图7|GT法线、去掉偏振损失、使用偏振损失的比较,关注刺猬底部、蜗牛背部和David局部。图中局部数值与表2不完全相同,不能混为同一组定量结果。来源:原论文图7。

对于纹理丰富、视角较多的物体,RGB本身已提供较强约束,偏振的额外收益可能有限。论文特别指出,超过30视角的密集观测下,一些对象的提升空间较小。

对于缺纹理表面,情况更有意思。颜色变化少,并不意味着偏振分量也缺乏变化。

无纹理表面与稀疏视角实验

图8|左侧展示$s_0,s_1,s_2$,右侧比较有无偏振监督及不同视角数。上方例子中,20视角的法线误差由15.3°降到13.3°,14视角由19.0°降到16.5°。来源:原论文图8。

这个结果支持偏振在缺纹理和较稀疏观测中的补充价值,但仍来自特定实验。不能由20与14视角的示例推导出任意场景都只需要14张照片。

同时,消融也并非所有指标一致改善:Snail的CD由无偏振损失时的10.75 mm变为10.85 mm,略有变差。总体趋势与局部例外应当同时保留。

十二、分出的漫反射和镜面反射可靠吗?

反射分解与环境图比较

图6|PANDORA、3DGS-DR与PolGS的环境图,以及各自的基础和镜面分量。PolGS给出更明确的分解,但这里没有逐项材质或照明真值误差。来源:原论文图6。

加入偏振后,两个通路不再仅凭最终亮度自由分工,还需要共同解释$s_1,s_2$。这能减少基础通路吸收镜面反射的倾向,也让法线受到更具体的成像约束。

但能分出视觉合理的两幅图,不等于已唯一恢复真实材质与照明。本文假设入射光未偏振,忽略圆偏振,并简化半向量方位;Cubemap也没有显式输出粗糙度。这些条件共同限定了模型的适用范围。

十三、对偏振辅助精细重建有什么启发?

PolGS展示了一条清晰的路线:用显式面元保持效率,用反射分支承接视角变化,再把偏振成像放进渲染链,让观测误差直接参与几何优化。

它也提示我们,偏振的作用不一定局限于先估法线、再当作固定真值监督。把偏振作为可渲染的观测量,可以让几何、反射与偏振在同一过程中协调。

如果进一步研究毛孔级人脸重建,这种连接方式值得借鉴,但验证任务还要向前推进。皮肤具有次表面散射,眼球涉及折射,人脸也包含动态表情;通用物体上的毫米级CD并不能证明人脸微结构已经恢复。

还需要检查:改善法线时是否保留了微小凹凸,反射分解是否把毛孔误当成材质变化,以及网格提取是否抹去了高频细节。

PolGS的实际价值,是在反光表面上把“速度很快的高斯表达”向“有几何约束的表面重建”推进了一步。它没有消除精度与效率之间的取舍,却让偏振成为连接这两者的一条可操作路径。

现在已有 12 次阅读,0 条评论,0 人点赞
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号