网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

SIGGRAPH Asia2011|利用偏振球面梯度照明进行多视角人脸采集

洗子

·

🎓学习录

·

Article

一张人脸照片里,有皮肤本身的颜色,也有光照造成的明暗。看见一个小黑点,我们知道它可能是毛孔、细毛,也可能只是色素;但如果让算法把照片直接变成凹凸表面,它就容易把“黑”理解成“深”。

高光则提供了另一种线索:皮肤表面的微小朝向改变,会改变镜面反射。毛孔边缘、细纹和微小凸起,有时在反射中比在普通肤色图像里更容易辨认。

这篇SIGGRAPH Asia 2011论文,把两类线索放进同一个采集与重建流程:先利用偏振球面梯度照明,从多个方向获得漫反射、镜面反射与法线信息,再共同重建人脸网格。

它同时解决了一个设备问题。过去的偏振球面照明更适合正面相机,想让侧面相机也得到干净的反射分离并不容易。作者重新设计了球面上偏振方向的排列,使多个接近水平的相机可以同时工作,而且镜头前的偏振片不需要来回旋转。

多视角采集、重建与渲染

图1|左侧是5个视角的漫反射反照率、镜面反射反照率和镜面法线;中间是重建几何,右侧是结合所采集法线的渲染。法线图中的细节与网格中实际恢复的细节需要区分。来源:原论文图1。

这项工作的核心,是把“适合多视角的偏振照明”与“同时使用反射和法线的立体重建”连接起来。光学设计决定能测到什么,重建算法决定这些测量如何进入几何。

论文信息

项目内容
英文标题Multiview Face Capture using Polarized Spherical Gradient Illumination
发表SIGGRAPH Asia 2011,ACM Transactions on Graphics 30(6)
作者Abhijeet Ghosh、Graham Fyffe、Borom Tunwattanapong、Jay Busch、Xueming Yu、Paul Debevec
机构USC Institute for Creative Technologies
项目主页https://vgl.ict.usc.edu/Research/Multiview/
论文PDFhttps://vgl.ict.usc.edu/Research/Multiview/Multiview_SIGGRAPHAsia_2011.pdf
公开材料作者主页提供论文与演示视频
关键词人脸采集、偏振照明、球面梯度、多视角立体、反射分离、表面法线

一、为什么不能直接把肤色纹理当作真实凹凸?

普通多视角立体重建,要在不同相机中找到同一个表面位置。皮肤纹理能帮助匹配,但照片里的明暗并不只由几何决定。

细毛可能很暗,却不是一个凹洞;某些微小凸起也可能因为照明而变暗。反过来,一条真实细纹还可能被皮肤内部的次表面散射模糊掉,在颜色图像中并不明显。

普通纹理与镜面法线的细节比较

图9|左列从均匀照明下的皮肤纹理推断细节,右列使用偏振梯度得到的镜面法线。上半为面颊,下半为嘴唇。图中比较了原始信息、细节表示与几何效果;两条路径并不总给出相同凹凸。来源:原论文图9。

作者希望利用镜面反射对表面方向的敏感性,补上普通纹理的不足。这里的“法线”是局部表面的垂直方向,能描述某块皮肤向哪边倾斜,但它本身还不是完整的三维坐标。

因此,获得细节法线之后,仍然需要把它与多视角位置约束结合,才能形成整体一致的几何。

二、先理解球面梯度:不只换一盏灯,而是改变整个球面的亮度分布

想象把人脸放在一个由许多LED围成的球体中。均匀照明时,各方向都提供光;梯度照明时,球面一侧较亮,另一侧较暗,亮度随方向逐渐变化。

表面朝向不同,对这些梯度的响应也不同。通过若干梯度及其互补照明,可以估计表面方向和反射强度。

本文沿用已有的球面梯度法线采集方法,进一步将它扩展到多视角。这个“梯度”是光源在球面上的空间分布,不是投在人脸上的条纹,也不是后来的彩色频率编码。

偏振在这里承担另一项工作:把接近皮肤表面的镜面反射,与经过皮肤内部散射的漫反射成分尽量分开。

三、真正的新设计:让偏振方向沿经线与纬线排列

过去的线偏振照明排列可以针对某个正面相机优化,但相机一旦转到侧面,原来有效的镜面抑制就可能变差。

作者提出两种在球面上局部正交的线偏振方向分布:一种沿纬线,一种沿经线。

经纬线偏振方向

图2|红色沿纬线,蓝色沿经线。两种方向分布绕竖直轴具有对称性,为接近球面赤道的多个视角提供相似的测量条件。来源:原论文图2。

这个设计的直观意义是:相机沿水平方向绕人脸移动时,看到的偏振配置仍保有相应的结构,而不必为每个相机重新设计一套灯光偏振方向。

同时,相机镜头前统一安装固定的竖直线偏振片。保持它不动,切换灯光的经线与纬线模式,就可以得到近似平行与交叉偏振两种观测。

在本文配置中,经线模式提供较强镜面信号,纬线模式有利于抑制镜面反射。两种测量一起使用,能分离漫反射与镜面反射。

这里不能把“两个模式”理解成“只要一套灯光,再把镜头偏振片旋转90°就一样”。论文的比较表明,这样做会在某些方向丢失镜面信号,或留下明显的镜面污染。

四、实际设备:5台相机固定偏振片,灯球切换两组光源

多视角采集系统

图4|人脸位于灯球内部,5台相机从接近水平的位置观察。灯光分为两组,相机前的线偏振片保持固定。来源:原论文图4。

原型包含156个可独立控制的LED,以及5台Canon 1D Mark III数码单反。作者将球面灯光交错分成两组,分别安装对应方向的线偏振片,通过点亮不同组来实现两种偏振模式。

每组灯只占一部分球面采样位置,但球面梯度属于低频照明分布,作者在所测试的人脸上仍得到足够好的结果。对镜面更尖锐的材料,角度采样减少可能带来更明显问题。

相机使用连拍,在两种偏振模式下记录互补梯度,整个序列略超过3秒。随后用光度对齐处理采集期间的小幅运动,再计算各视角的反照率与法线。

“两张照片”指给定球面照明条件下的反射分离,不是完整人脸重建只需要两张照片。完整流程还需要多个梯度条件、多台相机和后续计算。

五、为什么固定竖直偏振片如此重要?

不同偏振方案的比较

图3|三列分别为圆偏振方案、本文经纬线照明配固定竖直分析器、经纬线照明配水平分析器。包含理想镜面球仿真与塑料橙子的实测;下半展示镜面抑制效果。来源:原论文图3。

经纬线分布只绕竖直轴对称。相机偏振片的方向因此属于设计的一部分,不能随便改成水平。

图3中,固定竖直偏振片的方案,在所关心的观察范围内兼顾了较强的镜面信号和较干净的镜面抑制。水平分析器则明显改变了分离效果。

圆偏振方案虽然有不同的对称性优势,但在图示条件下,交叉偏振观测仍会出现较强的边缘反射。论文讨论了Brewster角附近的偏振行为,因此不能简单地把某一张圆偏振交叉图像当作已经去除镜面反射的结果。

人脸上的反射分离结果

图5|从上到下为较早的视角相关线偏振方案、圆偏振方案、本文经纬线方案。各列分别展示漫反射、漫反射加镜面、镜面反照率和镜面法线。来源:原论文图5。

人脸结果表明,本文方案在扩展到多视角的同时,保留了较好的分离和法线质量。这些镜面法线对后续精细几何尤为有用。

六、先让不同相机的数据“说同一种话”

反射分离之后,数据还不能直接丢给立体匹配。

首先,各相机估计的镜面法线要转换到统一世界坐标系。否则,同一个表面方向会因为相机坐标轴不同而具有不同数值。

其次,镜面反照率还带有视角相关的Fresnel增益。越接近掠射方向,观测反射可能越强,同一处皮肤在不同相机中不一定同样亮。

作者采用数据驱动的补偿:从一个视角出发,按照估计法线与观察方向之间的角度,对面部镜面强度进行统计,建立一条一维曲线,再把各处强度调整到接近正视方向的基准。

同一条曲线应用到所有相机的镜面反照率图,使这些图更适合跨视角比较。

Fresnel增益补偿

图6|左为采集的镜面反照率,中为补偿结果,右为从数据统计的增益曲线。补偿的目的是降低视角差异对匹配的影响,不是证明已唯一恢复皮肤全部反射参数。来源:原论文图6。

经过处理,多视角重建共同使用7个通道:3通道漫反射反照率、1通道补偿后的镜面反照率、3通道世界坐标镜面法线。

颜色帮助定位,镜面信息补充细节,法线约束方向。它们都来自同一个表面,但提供的证据不同。

七、统一的人脸表面:在圆柱上求一张位移图

常见多视角方法先为各相机估计深度图,再合并成网格。作者改用统一的圆柱参数域,在同一张位移图上直接求解人脸表面。

可以把它想成:在人脸附近放一个圆柱坐标架,每个位置记录到圆柱轴的径向距离。所有相机都参与决定这同一组距离,而不是各自产生一张深度图。

设整张位移图为$X$,某个位置为$s$,它的径向距离为$x_s$。论文优化:

$$ E(X)=\sum_{s\in\mathcal V}\phi_s(x_s) +\sum_{(s,t)\in\mathcal E}\psi_{st}(x_s,x_t). \tag{原式1} $$

第一项是数据代价:这个三维候选位置投影到不同相机后,观测是否一致?第二项是相邻位置约束:这些候选点能否组成合理表面?

这不是简单地把法线积分成深度。位置仍由多视角证据确定,法线同时参与匹配和表面连接。

八、数据项:寻找颜色、反射和方向都一致的位置

对于一个候选三维点,作者比较相邻相机中的局部窗口,使用归一化互相关NCC计算一致性。NCC越大,局部模式越一致,对应代价$(1-\mathrm{NCC})/2$越小。

原文的数据项为:

$$ \phi_s(x_s)= \frac{\sum_{ij}w_{ij}\sum_c[1-\mathrm{NCC}_{ij;c}(p)]/2} {\sum_{ij}w_{ij}}. \tag{原式2} $$

$ij$表示相机对,$c$遍历前述7个通道,$w_{ij}$根据可见性与方向一致程度调整相机对的影响。

它并非在不同相机里比较两个随意画出的平面小方框。作者根据光度法线构造近似贴着表面的三维$3\times3$采样窗口,再投影到两台相机,并调整采样间距,降低缩短透视造成的混叠。

如果候选位置正确,各相机应看到较一致的局部反照率与世界法线。位置错误时,这些局部结构往往对不上。

加入法线通道也让匹配不只依靠肤色纹理。颜色变化较弱的地方,还可以利用表面方向变化帮助定位。

九、平滑项:不是把皮肤磨平,而是让相邻点沿局部表面连接

如果直接惩罚相邻深度不同,算法会偏好一块块等深区域,容易形成台阶。本文使用光度法线来定义更合理的局部关系。

设相邻点为$\mathbf{ p }_s,\mathbf{ p }_t$,连接向量为$\mathbf e=\mathbf{ p }_s-\mathbf{ p }_t$。如果两点在法线为$\mathbf n$的同一局部平面上,应满足$\mathbf n\cdot\mathbf e\approx0$。

这个点积关系解释了原文平滑项的作用:

$$ \psi_{st}(x_s,x_t)= w_{st}\frac{r^2}{x_s+x_t} \min_i\left[ \left(\mathbf{ n }_{i;\mathbf{ p }_s}\cdot(\mathbf{ p }_s-\mathbf{ p }_t)\right)^2 + \left(\mathbf{ n }_{i;\mathbf{ p }_t}\cdot(\mathbf{ p }_s-\mathbf{ p }_t)\right)^2 \right]. \tag{原式3} $$

它同时检查两端法线与连接方向的关系。$r$是圆柱位移图的角分辨率,$w_{st}$控制相邻位置的连接强度。

同时,作者让平滑具有方向性:反照率或法线变化明显的地方,减弱平滑约束,以保留眼睑、鼻翼和嘴唇等细节。原式4的水平权重写为:

$$ w_{h;s}=W\exp\!\left[-\beta_\alpha(\alpha_{s+h}-\alpha_{s-h})^2 -\beta_n(n_{s+h}-n_{s-h})^2\right]. \tag{原式4} $$

差异越大,指数项越小,连接就越弱。这个机制有助于保留变化,但颜色边缘也未必就是几何边缘,因此它仍是带假设的正则化。

十、怎样求解:让候选深度在邻域消息中逐步调整

能量函数给出了目标,真正求解时,还要在大量可能的径向距离中寻找较好的组合。

作者提出TRW-SAD:每个位置保留一组候选距离,通过邻域消息评估候选,同时提出新的连续值候选。

新候选不仅围绕当前较好解生成,也参考邻居传来的较好建议,并保留搜索范围的端点。这样,即使初始采样漏掉较好的位置,后续仍有机会找到它。

更新时保留当前最优候选,其他候选可根据代价以一定概率替换。更好的建议容易被接受,较差建议也有一定探索机会。这是当时的消息传递优化,不是神经网络训练。

算法还从低分辨率逐步增加到高分辨率。每一层更新几何、可见性,并用几何法线对光度法线做低频偏差校正。为了减少初始可见性错误,作者先运行粗层获得可见性,再保留它重新开始完整流程。

最后一层采用简化代价,提高效率。因此,前面所说的统一求解,指不用先融合多张独立深度图;它并不意味着整个计算只有一次操作、没有最后的细化。

十一、实验结果支持哪些结论?

与结构光加镜面细节方法比较

图7|左为结构光基础几何加镜面细节,右为本文方法。此处两种方法使用一组双目相机进行比较,并非完整5相机设置的直接对照。来源:原论文图7。

作者展示了与结构光加细节方案相近的视觉结果,同时不再依赖结构光获取基础形状。不过,本文没有报告扫描真值下的毫米误差,不能由这张图推导出具体几何精度。

重建算法与反射分离的逐步比较

图8|左列为已有方法配启发式分离,中列改用TRW-SAD但仍使用启发式分离,右列进一步换成偏振分离。来源:原论文图8。

这组结果把两个改动分开了:改进求解器后,部分眼睑、鼻孔和嘴唇边界已经改善;再加入偏振分离,表面细节进一步清楚。最终收益来自光学采集与重建算法的共同作用。

作者还把纬线偏振排列应用到9块平面灯板上,展示它在另一类多视角照明系统中的镜面抑制作用。

平面灯板上的偏振应用

图10|塑料头部模型的正面和侧面;依次为未偏振、纬线偏振、两者差值。它验证另一种照明布置下的反射抑制,不等同重新完成全部梯度采集与重建实验。来源:原论文图10。

对于处理速度,论文报告从照片到最终带纹理人脸网格约需1小时,使用2008年Intel Xeon的一颗CPU核心。略超过3秒是采集时间,与离线重建耗时应分开理解。

十二、效果好,但为什么仍受视角与几何限制?

这套偏振方向分布最适合接近球面赤道的相机。相机向上或向下移动,分离质量会逐渐下降。

相机离开赤道后的分离变化

图11|相机位于赤道、上移15°和30°时的仿真。上排为平行偏振,下排为交叉偏振。来源:原论文图11。

论文在所述球面仿真中报告平均镜面抑制99.88%,较差区域约99.63%;当相机偏离赤道15°时,平均残留镜面量约1%。这些数值描述特定仿真下的偏振分离,不是人脸几何准确率。

作者观察到在偏离赤道约20°以内仍能较好工作,但这也不是任意材料、任意表面的统一保证。朝上或朝下的表面、更加尖锐的镜面反射,都可能更难处理。

圆柱参数化也有限制:它不能表达所有方向的凹陷。下巴附近需要谨慎选择轴,鼻孔、口腔内部和下巴下方又容易缺少有效照明,导致法线与重建不可靠。

非中性表情的重建结果

图12|多种表情的几何与混合法线渲染。展示的是能够保持数秒的表情采集结果,连续动态表演仍被论文列为未来方向。来源:原论文图12。

对于今天的偏振人脸研究,这篇工作的启发依然清晰:镜面法线可以补充肤色纹理遗漏的方向信息,而多视角几何提供整体位置约束。要让它们真正互补,还需要反射分离、坐标统一、视角补偿与合理的表面优化。

它展示了可见的皮肤细节,却没有用独立微几何真值证明逐毛孔深度精度。若进一步追求毛孔级重建,还要分别验证法线、真实几何和渲染细节,而不能只看最终人脸是否逼真。

现在已有 5 次阅读,0 条评论,0 人点赞
Author:洗子
作者
SIGGRAPH Asia2011|利用偏振球面梯度照明进行多视角人脸采集
当前文章累计共 8507 字,阅读大概需要 12 分钟。
ICCV2025|PolGS:用于快速反光表面重建的偏振高斯溅射
2026年11月18日 · 0评论
【FPGA】触摸按键控制LED灯
2024年3月24日 · 2评论
【光遇】拾光季任务
2024年3月13日 · 0评论
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号