网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

SIGGRAPH2020|单次曝光采集高质量人脸几何与皮肤外观

洗子

·

🎓学习录

·

Article

拍下一张清楚的人脸,和得到一张能换光照的数字人脸,相差很远。

照片里的额头为什么发亮?可能是皮肤出油,也可能是额头的朝向正好对着灯。脸颊上的一处暗纹,是一道凹陷,还是肤色本身偏深?如果把这些现象都当成颜色贴到模型上,原来的灯光就会被一起贴进去。换一个环境,高光和阴影仍留在原处,脸看起来就不自然。

这篇SIGGRAPH2020论文希望在一次同步曝光中,把脸的形状、皮肤颜色和表面反光分别采集出来,并恢复细小的皮肤起伏。作者没有要求演员依次接受多种灯光图案,而是让不同相机戴上不同方向的偏振片,在同一时刻分工收集不同的反射信息。

输入照片、外观分解与重打光

图1|从左到右为输入图像、匹配渲染、漫反射反照率、镜面强度、法线、细节几何和新环境下的重渲染。来源:原论文图1。

读这张图时,可以先比较最左和最右:系统的目标不只是重现拍照时的样子,还要让同一张脸在另一种照明下成立。中间几列则说明,为了做到这一点,作者把哪些信息从照片中拆了出来。

论文信息

项目内容
英文标题Single-Shot High-Quality Facial Geometry and Skin Appearance Capture
中文标题单次曝光采集高质量人脸几何与皮肤外观
发表SIGGRAPH 2020;ACM Transactions on Graphics 39(4),Article 81
作者Jérémy Riviere、Paulo Gotardo、Derek Bradley、Abhijeet Ghosh、Thabo Beeler
机构Disney Research Studios、Imperial College London
论文与项目入口https://studios.disneyresearch.com/2020/08/14/single-shot-high-quality-facial-geometry-and-skin-appearance-capture/
DOIhttps://doi.org/10.1145/3386569.3392464
关键词多视角人脸采集、偏振、逆渲染、次表面散射、位移图、可重打光外观

一、一次曝光,为什么还要12台相机?

标题里的Single-Shot指一次同步曝光。论文的主要静态系统使用12台相机,每台从不同方向拍一张照片,再把这些照片联合起来求解。

这种设计针对的是传统高质量外观采集的时间成本。改变灯光方向,或者依次投射不同照明图案,能够获得丰富的反射信息,但人在这段时间里可能眨眼、抿嘴或改变表情。不同图像一旦不再对应同一张脸的同一状态,后续求解就会变得困难。

作者把一部分信息采集任务移到了视角上:灯光保持同一种偏振状态,相机根据自己的偏振方向记录不同成分。

采集系统与偏振图像

图2|4盏带偏振片的闪光灯与12台相机。8台平行偏振相机组成4组双目,另4台相机交叉偏振;下方展示输入和初始网格。来源:原论文图2。

具体来说,4盏摄影灯的偏振方向一致。12台相机按4组三机组合布置,每组包括一对平行偏振相机,以及一台交叉偏振相机。

平行、交叉描述的是相机偏振片相对于灯光偏振片的方向。对于本文采用的皮肤反射近似,表面镜面反射仍保留较强的偏振,而进入皮肤后反复散射的光会明显退偏振。交叉偏振因此能够抑制表面高光,给漫反射外观提供更干净的观测;平行偏振保留高光,同时滤去约一半的退偏振漫反射,使高光相对于漫反射更突出。

两种图像各有用途。交叉偏振帮助判断皮肤本来的颜色,平行偏振则提供与表面朝向、油脂反光有关的线索。

这里不能直接把两类照片逐像素相减:它们来自不同相机,同一个像素不一定对应同一块皮肤。作者需要先重建几何,把多视角观测映射到统一的皮肤表面,再通过渲染模型解释它们。

这就是论文所说的视角复用:多个视角在同一时刻提供互补信息。文中“不需要主动照明”的语境,是不用随时间切换编码照明图案;系统仍然依赖受控摄影灯、偏振片和光照标定。

二、先有一张大体正确的脸,才能讨论皮肤细节

整套方法可以按实际数据流理解:

同步偏振图像 → 多视角立体重建 → 统一UV表面 → 相机颜色自标定 → 带散射模型的逆渲染 → 反照率、镜面强度和位移图。

起点是8台平行偏振相机组成的4组双目。作者使用已有的多视角人脸重建方法得到初始形状,但没有采用其中把纹理暗部直接转换成凹陷的细节增强步骤。细节将留给后面的物理优化。

初始网格还需要一个统一的UV展开。UV可以理解为把弯曲的脸摊成一张二维地图:地图上的一个纹素,对应脸上的一个位置。来自不同相机的颜色、可见性、法线和位移,就能在这张地图上对齐。

论文实际采用人工拟合模板网格的方式完成这一步,因此采集虽然是单次曝光,完整处理流程仍包含人工准备。

预处理还会给每个视角分配可信度。正面、清晰、没有遮挡的观测权重大;侧得太厉害、失焦或不可见的区域,权重减小。这样,后面的优化不会把一张模糊侧脸和一张清晰正脸当成同样可靠的证据。

灯光也要被测量。作者拍摄镜面球来恢复4块灯板的环境光分布,并根据初始网格计算阴影。少了这一步,求解器就可能用错误的肤色或表面朝向,补偿错误的光照。

三、最容易漏掉的物理过程:光会进入皮肤,再从旁边出来

即使把漫反射与高光分开了,皮肤也不是一块普通的磨砂塑料。

塑料表面的简化反射模型常常只考虑同一点:光从哪里照进去,就从哪里反射出来。皮肤则会让部分光进入内部,经过散射,再从附近另一个位置离开。相邻位置之间因此发生了光的混合,这就是次表面散射。

它让真人皮肤显得柔和,也会给重建带来一个问题:照片中被散射模糊的细节,不应全部归因于皮肤本身没有细节。

作者使用双向散射表面反射分布函数BSSRDF,把表面反射与皮下散射放进同一个成像过程。原论文式(1)为:

$$ L_o(\mathbf{ x }_o,\boldsymbol\omega_o) =\sum_A\sum_\Omega S(\mathbf{ x }_o,\boldsymbol\omega_o,\mathbf{ x }_i,\boldsymbol\omega_i) L_i(\mathbf{ x }_i,\boldsymbol\omega_i) (\mathbf{ n }_i^T\boldsymbol\omega_i) \Delta\omega_i\Delta A_i. \tag{1} $$

这里要抓住两个位置:$\mathbf{ x }_i$是光进入皮肤的位置,$\mathbf{ x }_o$是光离开皮肤、走向相机的位置。$L_i$是入射光,$L_o$是相机方向的出射光;$S$决定光经过皮肤后怎样从入口传到出口。

式中的两重求和,就是把附近表面位置、各个未被遮挡的入射方向的贡献加起来。$(\mathbf{ n }_i^T\boldsymbol\omega_i)$表示表面朝向对接收光照的影响,$\Delta\omega_i$和$\Delta A_i$分别是方向与面积的离散采样大小。

随后,作者把它分成两部分:

$$ S(\mathbf{ x }_o,\boldsymbol\omega_o,\mathbf{ x }_i,\boldsymbol\omega_i) =\delta_{ij}S_r(\mathbf{ x }_o,\boldsymbol\omega_o,\boldsymbol\omega_i) +S_d(\mathbf{ x }_o,\boldsymbol\omega_o,\mathbf{ x }_i,\boldsymbol\omega_i). \tag{2} $$

$S_r$是表面镜面反射,只在入口和出口相同的位置起作用,所以前面有$\delta_{ij}$。$S_d$负责皮下散射,可以连接不同位置。

交叉偏振图像在本文模型中令$S_r=0$;平行偏振图像则同时由两部分解释。偏振观测与物理模型在这里接上了:不同相机看到的反射差异,成为分解未知量的条件。

四、皮下散射建对了,为什么反照率反而更清晰?

论文对某个颜色通道$\lambda$的散射项写为:

$$ S_d(\cdot)=\frac{1}{\pi} F_t(\mathbf{ x }_o,\boldsymbol\omega_o) \rho_\lambda(\mathbf{ x }_o) R_\lambda(\|\mathbf{ x }_o-\mathbf{ x }_i\|_2) \rho_\lambda(\mathbf{ x }_i) F_t(\mathbf{ x }_i,\boldsymbol\omega_i). \tag{4} $$

$F_t$表示光穿过皮肤表面的菲涅耳透射,$\rho_\lambda$是该颜色通道的反照率,$R_\lambda$描述光在皮肤内部传播一定距离后还剩下多少贡献。距离越远,扩散贡献通常越弱。

这个式子从右向左读,就是:光进入皮肤,经过入口的透射与颜色调制,在内部传播,再经过出口的颜色调制和透射,走向相机。作者用高斯函数之和近似扩散轮廓,并采用文献给定的皮肤参数,没有为每个人重新估计一套散射长度。

为了理解其作用,可以把式(1)中的方向求和先收进每个入口位置的照明贡献。对固定的出口位置而言,剩下的是:按$R_\lambda$给附近入口加权,再把它们相加。这是从原式得到的直观解释,不是论文另加的一种算法。

因此,相机看到的颜色包含周围皮肤的影响。如果渲染器不负责这种扩散,优化器就只能把扩散后的模糊直接写进反照率和法线。模型在原灯光下可能还算吻合,换光后却失去了真实皮肤的柔和感。

是否考虑次表面散射

图6|上排忽略皮下散射,下排显式考虑散射。右侧额头局部显示皮肤外观的差异。来源:原论文图6。

图6应同时看脸和额头局部。忽略散射时,模型可能恢复了很尖锐的表面高光,但皮肤整体仍显得生硬,因为渲染阶段缺少内部传播的柔化过程。

反照率细节对比

图7|左图未建模次表面散射,右图建模散射后恢复的反照率更清晰。来源:原论文图7。

图7展示另一面:当“光的扩散”有了自己的解释,反照率就不必承担这部分模糊,能够保留更清楚的色素细节。更清晰的底层材质,加上正确的散射,最终可以渲染出更柔和的皮肤。两者并不矛盾。

五、高光既能暴露细节,也会误导重建

皮肤的高光对表面朝向很敏感。一个很浅的皱纹,只要让局部法线发生变化,就可能明显改变反光。因此,平行偏振图像中的高光,是恢复细节的重要信息。

但高光亮度还取决于材料反射性质。求解器必须同时考虑几何与反射,才能避免把油光全部雕成形状。

作者使用Cook–Torrance微表面反射模型,原论文式(3)为:

$$ S_r(\mathbf{ x }_o,\boldsymbol\omega_o,\boldsymbol\omega_i) =\rho_s(\mathbf{ x }_o) \frac{D(\boldsymbol\omega_o,\boldsymbol\omega_i,\mathbf{ n }_o,\alpha) G(\boldsymbol\omega_o,\boldsymbol\omega_i) F(\eta,\boldsymbol\omega_o,\boldsymbol\omega_i)} {4(\mathbf{ n }_o^T\boldsymbol\omega_i)(\mathbf{ n }_o^T\boldsymbol\omega_o)}. \tag{3} $$

$\rho_s$控制局部镜面反射有多强;$D$描述微小表面朝向的分布;$G$考虑微表面之间的遮挡;$F$表示菲涅耳反射。皮肤折射率固定为$\eta=1.4$。

其中有两个与采集系统紧密相关的选择。

偏振菲涅耳与高光波瓣

图3|左侧比较不同偏振状态的菲涅耳反射;右侧比较单一Blinn–Phong分布与双波瓣混合分布。来源:原论文图3。

左图说明,平行偏振反射在接近布儒斯特角时会明显降低。如果仍使用普通非偏振反射曲线,求解器可能把这种变暗误认为肤质变化。因此,作者在模型中使用适合平行偏振的菲涅耳项。

右图对应高光形状。作者混合指数分别为12和48的两个Blinn–Phong基函数:

$$ D(\cdot)=\alpha D_{12}(\cdot)+(1-\alpha)D_{48}(\cdot). $$

这来自原论文式(3)下方的定义。两个基函数一宽一窄,混合后可以保留更明显的尾部,用来近似皮肤高光的形状。$\alpha$控制混合比例,并不是一张逐像素独立估计的常规粗糙度图。

柔和灯板会把高光本身也照得很宽。在这种条件下,局部高光究竟是材料粗糙、表面朝向变化,还是光源面积造成的,很难充分区分。作者因此先估计每个人的整体波瓣参数$\alpha_0$,后面固定它,只优化空间变化的镜面强度。

皮下散射则带来另一条线索:它对红光的模糊通常更明显,对蓝光相对较弱。论文在几何求解阶段提高蓝色通道的权重,让高光与蓝通道漫反射共同约束细节,而不是只依赖单一光照下的高光。

六、法线需要能落到一张真实表面上

一张法线图可以让渲染看起来凹凸不平,但图中每个方向若独立估计,未必能共同组成一个一致的表面。之后再把法线积分成几何,还可能损失细节。

作者选择直接优化UV空间中的位移$d(u,v)$,让法线从位移中计算出来。

设模板表面的两个局部切向方向为$\hat{\mathbf{ t }}_u$和$\hat{\mathbf{ t }}_v$,模板法线为$\hat{\mathbf{ n }}$。沿法线推高或压低表面后,位移的变化率$d_u$、$d_v$就会改变两个切向量。原论文式(5)写成:

$$ \mathbf{ n } =(\hat s_u\hat{\mathbf{ t }}_u+d_u\hat{\mathbf{ n }}) \times (\hat s_v\hat{\mathbf{ t }}_v+d_v\hat{\mathbf{ n }}). \tag{5} $$

这是尚未归一化的法线,$\hat s_u$和$\hat s_v$编码对应方向上的纹素尺度。

可以用基础曲面几何理解这个式子:先沿$u$方向跨过一个纹素,表面既有原来的横向移动,也有高度变化$d_u$;沿$v$方向同理。两个新切向量叉乘,得到新表面的垂直方向,再归一化即可参与反射计算。这一步采用模板法线在局部近似不变的条件。

这样,照片误差会通过法线反传到位移。额头上一道皱纹如果需要改变法线,优化器就必须改变对应表面的高度,而不能只在法线图上单独画一笔。法线从同一个高度场导出,因此把局部可积性直接放进了表示。

这带来的收益是几何和外观能共同优化,并减少后续法线积分的损失;它并不单独保证每一道细纹的深度都等于真实值。

七、相机颜色不同,不能让皮肤模型替它们背锅

12台相机加上不同方向的偏振片,曝光、黑电平和通道响应难免不同。如果同一块脸在某台相机里偏暗,优化器可能误以为那里的反照率更低。

作者先用色卡标定正面交叉偏振相机,建立参考颜色空间。其他交叉偏振相机在统一UV表面上,通过一个$3\times4$仿射颜色矩阵匹配参考相机。

平行偏振相机更复杂,因为它们本来就应该看到随视角变化的高光,不能简单把颜色强行拉成一样。作者用初始几何渲染两个高光基函数,再与附近交叉偏振视角的漫反射观测组合,建立每台相机应有的外观。

对应原论文式(7):

$$ \mathbf{ M }_c \begin{bmatrix}I_c(\mathbf{ x })\\1\end{bmatrix} \approx \begin{bmatrix}S_{c1}(\mathbf{ x })&S_{c2}(\mathbf{ x })&I_{xp}(\mathbf{ x })\end{bmatrix} \begin{bmatrix}w_1\\w_2\\1\end{bmatrix}. \tag{7} $$

左边是相机$c$经颜色变换后的RGB值,右边是两个镜面基函数与漫反射的组合。$\mathbf{ M }_c$是$3\times4$矩阵,右侧由3个RGB列向量组成$3\times3$矩阵,$w_1,w_2$是全局镜面权重。

作者交替估计相机颜色矩阵和这两个权重,通常在10次迭代内收敛。它还给出了初始全局镜面强度$\rho_{s0}=w_1+w_2$与波瓣混合参数$\alpha_0=w_1/(w_1+w_2)$,供后续求解使用。

八、把这些条件放在一起,求解器究竟在改什么?

有了初始几何、相机标定、灯光和皮肤反射模型,剩下的任务就是:调整皮肤参数,让模拟相机看到的图像尽量接近真实照片。

原论文式(8)定义图像误差:

$$ E_{img}(\Theta)=\sum_{\mathbf{ x }}\sum_c W_c(\mathbf{ x }) \left\|I_c(\mathbf{ x })-L_o(\mathbf{ x },\boldsymbol\omega_c)\right\|_2^2. \tag{8} $$

$I_c$是标定后的真实观测,$L_o$是前面那套BSSRDF模型渲染出的颜色,$W_c$是预处理得到的可信度。它把所有有效纹素、所有相机的差异累加起来。

逐纹素的主要未知量是RGB反照率、镜面强度$\rho_s$和位移$d$;整体波瓣参数固定为先前估计的$\alpha_0$。这是一套基于物理模型的非线性优化,没有训练一个预测皮肤细节的神经网络。

但只追求照片吻合仍会有歧义。暗一点可以修改肤色,也可以改变形状;某个高光可以通过增加镜面强度解释,也可以通过旋转法线解释。作者因此加入约束,原论文式(9)为:

$$ \begin{aligned} \min_\Theta\quad&E_{img}(\Theta) +\lambda_1\|d-d_0\|_F^2 +\lambda_2\|\nabla d\|_F^2\\ &+\lambda_3\|\rho_s-\rho_{s0}\|_F^2 +\lambda_4\|\nabla\rho_s\|_F^2. \end{aligned} \tag{9} $$

$d_0$是初始位移。第一项几何约束让重建弱地靠近已有形状,第二项抑制不可靠区域的局部起伏。镜面强度也分别受到靠近全局值与局部平滑的约束。这里的$\nabla$按原文实际表示小型$3\times3$拉普拉斯算子,不能仅凭符号把它理解成普通一阶梯度。

优化前期对镜面强度施加较强平滑,让图像中的细小亮暗变化更多由位移解释,避免所有纹理都被镜面强度吸收。此时RGB权重分别为0.1、0.3、1.0,加强相对清晰的蓝通道。

几何收敛后,作者固定$d$,再让RGB三个通道具有相同权重,并停用拉普拉斯平滑,细化反照率和镜面强度。因此,蓝通道主要负责帮助几何求解,最终输出仍包含完整RGB外观。最终镜面图还可能吸收部分几何没有解释的遮挡效应,读图时也应保留这一点。

几何优化的尺度策略

图9|左侧直接在4K分辨率优化,右侧采用由粗到细的求解。来源:原论文图9。

求解从2K开始,逐级放大到4K或8K。较粗尺度先解释主要皱纹,再让细尺度补充局部变化。图9右侧的鼻唇沟与眼下纹理因此更明确。文中报告的蓝通道重渲染RMSE,从直接求解的0.0143降到0.0137;这是图像颜色误差,不是几何距离。

论文使用Ceres非线性求解器与自动微分。在8核2019款MacBook Pro上,4K结果约需45分钟。曝光可以瞬间完成,重建仍然是离线过程。

九、结果不能只看一张好看的渲染图

不同人物的几何与外观结果

图4|7位人物的结果。各列依次是参考图像、渲染、漫反射反照率、镜面强度、法线、几何和渲染误差。来源:原论文图4。

图4把不同年龄、肤色和表情放在一起。阅读时可以先比较前两列,再看镜面强度、法线和几何是否解释了照片中的变化。

最后一列的颜色条是0—10%的渲染误差,按RGB通道平均,并相对于图像强度范围表示。蓝色区域说明颜色较吻合;它没有提供毫米或微米单位的表面精度。

更有力的验证,是改变灯光后再拍一次真人。

新照明条件下的真实图像与渲染对比

图5|每组比较真实拍摄与重渲染;四灯全开、移去右侧灯、仅上方灯、上方加下方灯。来源:原论文图5。

作者用4盏灯全开的数据求解,然后在另外3种未参与优化的照明条件下拍摄真实图像。图5中,高光与明暗分布能随照明改变,并接近对应照片,说明结果确实具备一定的材质、几何与光照分离能力。

这种验证比只在原灯光下拟合更严格,但它依然是外观验证。要确认逐个毛孔的实际深度,还需要独立高精度几何参考。

与已有外观估计方法的比较

图8|深肤色、额头反光较强的例子。上排为本文,下排为Gotardo等人的方法;下方比较重渲染误差。来源:原论文图8。

图8尤其适合观察反照率中的残留高光。基线的反照率额头仍有一块明显亮斑,而本文能更好地将其分配到镜面部分。

不过,比较条件也要说明:Gotardo等人的原方法通常需要一段中性表情、转头的序列来初始化。此处作者把它用于单次曝光的平行偏振数据。这个实验支持本文更适合当前单次曝光设置,不能扩大为它在所有原生采集协议下都全面胜出。

与暗处即凹陷启发式的比较

图11|上方采用dark-is-deep细节增强,下方为本文几何。来源:原论文图11。

图11回到开头的问题:皮肤暗处不一定是凹陷。直接把颜色暗部转换成深度,容易受到色素和反射变化的影响。本文则要求几何在多视角与反射模型中解释观测,嘴周纹理因此更有层次。这里仍是定性几何比较,没有独立扫描真值支持逐点精度判断。

十、细节越多,是否就越可靠?

8K皮肤几何细节

图10|8K求解得到的局部细节;论文大部分结果使用4K贴图。来源:原论文图10。

图10说明表示与求解可以支持更高分辨率。但8K描述的是二维贴图的采样密度,不等于某个确定的毛孔深度精度。采集分辨率、镜头、视角覆盖、光照和反射模型仍然决定哪些细节可被可靠恢复。

几何正则化的影响

图12|从左到右,几何正则化权重为默认设置的200%、100%、50%。来源:原论文图12。

这张图把另一种取舍摆得很直接:约束加强,结果更平滑、更靠近初始形状;约束减弱,皱纹更深、更锐利,也更容易在观测不足的地方出现小伪影。

所以“看起来更锐”本身不能作为唯一判断标准。作者提到,艺术家可以根据需求选择较弱约束再局部修整,但论文展示的结果没有使用这种后期修整。

十一、动态表情能用,但采集速度与求解速度要分开

动态表情的逐帧结果

图13|两位演员的动态序列,展示渲染、反照率、镜面强度与几何。来源:原论文图13。

因为每次曝光就能提供完整的一组互补偏振观测,方法可以按帧处理动态表情,不需要在相邻帧之间切换灯光或旋转偏振片。

动态实验使用的是另一套硬件:12台2000万像素Ximea工业相机,配合恒定发光、水平偏振的LED灯组。作者利用已有无标记网格跟踪方法提供时间对应,并对各帧独立求解。

这说明采集可以延伸到相机帧率下的连续记录;论文没有把逐帧离线优化变成实时重建,也没有提出新的时间一致性损失。

十二、这项工作的价值,落在采集与解释的配合上

这篇论文提供了一条很具体的路线:保留摄影测量系统的大体结构,通过偏振配置增加可分辨的反射信息,再让皮肤物理模型与可积位移表示共同解释这些观测。

它仍有清楚的适用边界。整体高光波瓣固定,真实皮肤的局部粗糙度变化只能部分由镜面强度补偿;散射轮廓来自固定文献模型,不能覆盖每个人、每个年龄的差异。鼻环等饰物偏离皮肤假设,眼睑拟合不准或网格自相交也会破坏阴影。面侧、下颌和凹陷区域的弱观测,以及未建模的多次间接反射,仍可能留下误差。

对于偏振与3DGS人脸重建,这里有一个可以继续研究的启发:偏振提供的是关于反射成分的观测约束,几何表示则需要承接这些约束。若渲染模型漏掉皮肤散射,即便提高表示分辨率,系统仍可能把光传播的影响写进形状或颜色。这是从本文机制得到的研究思考,论文自身没有使用3DGS。

森林与城市环境下的重打光

图14|左侧森林环境,右侧城市广场环境。同一套几何和外观资产在不同环境照明下重渲染。来源:原论文图14。

回看图14,一张脸的真实感来自几件事情同时成立:肤色不承担原来的灯光,细纹能够改变反光,光又能在皮肤内部适当地散开。一次曝光能否做成高质量采集,取决于是否在这一刻记录了足够互补的信息,以及后续是否为这些信息找到了合适的物理解释。

现在已有 4 次阅读,0 条评论,0 人点赞
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号