网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

SIGGRAPH Asia2024|动态人脸的偏振BSSRDF采集

洗子

·

🎓学习录

·

Article

用手指按住额头,再松开,皮肤会先变白,随后慢慢恢复红润。换一个光照角度,皮肤上的高光又会移动,原本平淡的细纹也可能突然变得明显。

要把这样一张脸做成数字资产,仅仅恢复轮廓、贴上一张肤色纹理还不够。模型还需要解释:哪些光在表面直接反射,哪些光进入了皮肤;进入皮肤的光会在内部传播多远,又会被哪些成分吸收;这些过程在做表情、出现皱纹时如何共同改变外观。

《Polarimetric BSSRDF Acquisition of Dynamic Faces》研究的就是这件事。作者将偏振成像、多光谱观测与双层皮肤模型结合起来,采集动态人脸的几何、反射与散射属性,并进一步估计黑色素、内外层血红蛋白等生物物理参数。得到的结果既能重新打光,也能用于调整肤色与皮肤内部的散射表现。

图1:动态人脸的偏振外观与生物物理属性采集

图1|左侧比较真实照片与不同方法的静态重建;右侧展示动态表情、次表面散射、偏振角及生物物理参数。来源:原论文图1。

这项工作的目标,是让数字人脸拥有能够解释光线传播的皮肤模型。是否拍得像只是第一步,换光、换偏振分析方向,甚至改变皮肤参数之后,模型还应产生合理的变化。

论文信息

项目内容
英文标题Polarimetric BSSRDF Acquisition of Dynamic Faces
中文标题动态人脸的偏振BSSRDF采集
发表SIGGRAPH Asia 2024 / ACM Transactions on Graphics,43卷6期,Article 275
作者Hyunho Ha、Inseung Hwang、Nestor Monzon、Jaemin Cho、Donggun Kim、Seung-Hwan Baek、Adolfo Muñoz、Diego Gutierrez、Min H. Kim
机构KAIST、萨拉戈萨大学I3A、POSTECH
论文https://vclab.kaist.ac.kr/siggraphasia2024/polar-face-main.pdf
项目主页https://www.vclab.kaist.ac.kr/siggraphasia2024/index.html
代码与数据https://github.com/KAIST-VCLAB/polarimetric-bssrdf-dynamic-face
DOIhttps://doi.org/10.1145/3687767
关键词动态人脸采集、偏振成像、多光谱、次表面散射、BSSRDF、生物物理皮肤模型

一、为什么一张肤色纹理,解释不了真实皮肤?

把手放在强光前,指尖边缘往往会泛红。这是因为一部分光进入了组织,在内部散射、吸收后,又从表面离开。皮肤的颜色与柔和感,很大程度上来自这个过程。

在常见的局部表面反射模型中,可以近似认为光从某个表面点进入,也从同一个点离开。用于描述这种关系的函数叫作双向反射分布函数,BRDF。它适合描述很多表面反射,但无法直接表达“光从这里进去,从旁边出来”的空间传播。

皮肤需要引入双向散射表面反射分布函数,BSSRDF。多出来的“散射”意味着,除了入射和出射方向,还要考虑入射点与出射点之间的位置关系。照亮鼻翼附近的一小块皮肤,影响可能扩散到周围,而不局限于被直接照到的点。

如果只把这种效果存进纹理,原来的照片可能仍然很像;换成窄条光照之后,问题就会出现:模型知道每个点原来有多亮,却不知道光应该在皮肤里扩散多远。更进一步,不同位置的皮肤成分并不相同,额头、鼻子和脸颊也不应共用完全一样的散射参数。

这就是本文强调的空间非均匀次表面散射:允许皮肤内部的光学属性随位置变化,再由这些属性决定光怎样传播。

动态人脸又增加了一层困难。做表情时,表面形状、朝向、皱纹和可见区域都在改变。相机记录到的一个亮度变化,既可能来自几何,也可能来自高光或内部散射。作者需要额外的观测,帮助模型把这些原因分开。

二、偏振和光谱,分别补上了什么信息?

偏振:观察光经过了怎样的表面交互

旋转偏振片时,某些反光会变暗,又会重新变亮。这个现象说明,光除了颜色和强度,还具有偏振状态;表面的反射、透射以及内部散射,都会改变它。

论文用Stokes向量表示光的偏振状态:

$$ \mathbf{ s }=[s_0,s_1,s_2,s_3]^\top. $$

其中,$s_0$是总强度,$s_1,s_2$描述线偏振,$s_3$描述圆偏振。本文的采集与结果主要针对线偏振。

为了建立直觉,可以从理想线偏振分析器的基础关系看起。这是补充说明,不是论文新增的公式:

$$ I_\theta=\frac12\left(s_0+s_1\cos2\theta+s_2\sin2\theta\right). $$

同一束光经过不同方向的分析器,记录到的强度会不同。代入$0^\circ$和$90^\circ$,两次测量相加可以消去$s_1$,相减则消去$s_0$;$45^\circ$和$135^\circ$的差值可以提供$s_2$的信息。因此,多个偏振方向让系统不仅看到“有多亮”,也看到亮度随分析器方向如何变化。

但皮肤不能简单套用“表面高光有偏振,内部散射完全没有偏振”的二分法。光在内部多次散射后会失去原来的偏振信息,再次穿过皮肤表面、离开组织时,透射过程又会使它产生偏振。 这部分信号也是观测的一部分,忽略它就可能错误估计表面反射。

光谱:观察不同成分吸收了哪些光

偏振帮助区分光的交互路径,光谱则帮助解释内部吸收。

图2:皮肤不同成分的吸收光谱

图2|氧合血红蛋白、脱氧血红蛋白、真黑色素、褐黑色素及基底组织的吸收系数。横轴为波长,纵轴采用对数尺度。来源:原论文图2。

图中的关键是曲线形状不同。血红蛋白具有较明显的波段特征,黑色素则表现出另一种随波长变化的趋势。只看一个RGB颜色,几种成分可能互相补偿;增加经过标定的光谱观测,就有机会利用这些曲线差异约束各成分的比例。

这里仍然需要一个组织模型。相机不会直接输出“这里有多少黑色素”,而是记录各通道的光强,再由模型反推哪些参数更能解释这些测量。

三、怎样同时拍到表情、偏振和六个光谱通道?

图3:多光谱偏振人脸采集系统

图3|中央为多光谱偏振模块,周围为四组双目几何采集模块;右侧示意光源、相机和人脸的相对位置。来源:原论文图3。

系统中央放置两台偏振相机,每台都能在一次曝光中采集$0^\circ$、$45^\circ$、$90^\circ$和$135^\circ$四种线偏振分析方向。这样,人脸在运动时,也不必等待机械偏振片逐个旋转到位。

两台相机前面分别安装从Dolby 3D眼镜拆下的不同光谱滤片。两种滤片与相机原本的RGB响应相乘,形成六个不同的光谱响应通道。可以理解为,每种原始颜色通道被进一步分成两种不同的波段响应。

图4:六通道光谱响应与照明光谱

图4|不同颜色和线型对应两种滤片形成的六个通道,黑线对应光源的光谱功率分布。来源:原论文图4。

这些通道具有一定宽度,也存在重叠,不能把它们理解为六个完全独立、没有带宽的单色波长。反演时必须使用实际标定的响应曲线,把模型预测的光谱变成相机真正能够记录的通道值。

中央模块周围还有40个带线偏振片的LED,分成8组,每组5个。光源与相机近似同轴:人脸距离约1米,光源与相机偏离约10厘米,对应约$5.72^\circ$的夹角。这种几何布置使偏振成像模型能够采用相应的简化。

四组外围双目相机则负责恢复动态几何。整个系统同步采集,速度为20 fps。这里的20 fps描述的是采集速度,完整参数恢复仍然需要后续离线优化。

四、从入射到出射,模型怎样追踪一束光?

作者将总的偏振响应写成三个部分:

$$ \mathbf{ P }=\mathbf{ P }_s+\mathbf{ P }_{ss}+\mathbf{ P }_{sss}. $$

$\mathbf{ P }_s$表示镜面反射,$\mathbf{ P }_{ss}$表示单次散射,$\mathbf{ P }_{sss}$表示次表面多次散射。保留单次散射,是为了避免所有非镜面响应都被挤进同一个“漫反射”项。

在Stokes–Mueller表述中,表面交互由矩阵作用在入射Stokes向量上,得到出射向量:

$$ \mathbf{ s }_o=S\mathbf{ P }(\boldsymbol\omega_i,\boldsymbol\omega_o)\mathbf{ s }_i, \qquad S=\frac{\mathbf{ n }\cdot\boldsymbol\omega_i}{\Gamma^2}. $$

$\boldsymbol\omega_i,\boldsymbol\omega_o$分别为入射和出射方向,$\mathbf{ n }$是法线,$\Gamma$是光源到表面的距离。$S$包含入射角造成的余弦变化与距离衰减;$\mathbf{ P }$则负责描述光的强度和偏振状态如何被材料改变。

对于内部散射,还需要把所有可能的入射位置累加起来。原论文式(1)的算子形式为:

$$ \begin{aligned} \mathbf{ P }_{sss} ={}&\sum_{\mathbf{ x }_i\in\mathcal S} \mathbf{ C }_{n\to o}(-\widetilde\phi_o) \mathbf{ F }^T(\mathbf{ x }_o,\theta_o;\eta_o)\\ &\quad\cdot\mathbf{ D }\!\left(\rho_{sss}(\|\mathbf{ x }_i-\mathbf{ x }_o\|)\right) \mathbf{ F }^T(\mathbf{ x }_i,\theta_i;\eta_i) \mathbf{ C }_{i\to n}(\widetilde\phi_i). \end{aligned} \tag{1} $$

这条公式按光传播的顺序,从右往左读:

  1. 入射坐标变换$\mathbf{ C }_{i\to n}$将光的偏振表达转到局部交互坐标系。
  2. $\mathbf{ F }^T$描述光进入皮肤时的Fresnel透射。这里的上标$T$表示透射,不是矩阵转置。
  3. $\mathbf{ D }$描述内部多次散射造成的去偏振,并通过扩散剖面$\rho_{sss}$计入从$\mathbf{ x }_i$传播到$\mathbf{ x }_o$的贡献。
  4. 另一个$\mathbf{ F }^T$描述光从出射点离开皮肤时的透射,也就包含重新产生偏振的过程。
  5. 出射坐标变换将结果转到相机使用的参考系,再累加各入射位置的贡献。

$\eta_i,\eta_o$是相应位置的折射率,$\theta_i,\theta_o$是界面角度。$\widetilde\phi=\phi-\pi/2$用于偏振参考方向的坐标旋转。扩散剖面$\rho_{sss}(r)$描述的是相距$r$时的空间传输,而不是一个单独的肤色数值。

为什么去偏振后,出射光还能重新带上偏振?

可以把式(1)中间的一小段单独展开。以下是为帮助理解而补充的推导。

设光在内部充分去偏振后,局部Stokes向量近似为$[L,0,0,0]^\top$。出射界面针对垂直和平行入射面的两个方向,具有不同的透射系数$T^\perp$和$T^\parallel$。定义:

$$ T^+=\frac{T^\perp+T^\parallel}{2},\qquad T^-=\frac{T^\perp-T^\parallel}{2}. $$

局部Fresnel透射矩阵作用后,向量中的前两个分量变为:

$$ s'_0=T^+L,\qquad s'_1=T^-L. $$

只要两种透射系数不相等,$s'_1$就可能非零。内部的去偏振与出射后的重新偏振并不矛盾,后者来自新的界面交互。再做坐标旋转,这部分信号会分配到相机参考系的线偏振分量中。

这也解释了作者为什么专门构建偏振BSSRDF:若仅用一个标量散射项表示皮肤内部传输,就会丢掉这部分与出射方向相关的观测。

五、从四张偏振图像中,构造三类优化信号

硬件得到四个方向的图像后,作者在近同轴布置及相应成像假设下,构造三种观测:

$$ I_{sss}=2I_{90},\qquad I_\zeta=I_{135}-I_{45},\qquad I_s=I_0-I_{90}. $$

它们分别用于描述非偏振次表面散射观测、偏振次表面散射观测,以及镜面反射占主导的偏振观测。后两个差值能够抵消某些共有的强度成分,突出不同路径对偏振方向的响应差异。

但这些运算并不是把原始图像自动切成三张完全纯净的物理分量。原文特别给出:

$$ I_s=S\left(\bar\kappa_{s,ss}R^+ -\sum_{\mathbf{ x }_i\in\mathcal S}\rho_{sss}T^{-+}\xi\right). $$

其中,$\bar\kappa_{s,ss}$包含镜面反射与单次散射,$R^+$是Fresnel反射系数的均值;$T^{-+}$包含入射、出射透射系数的组合,$\xi=\cos2\phi$反映偏振方向。减号后面仍然有次表面散射的贡献。

所以,$I_0-I_{90}$适合称为“镜面反射占主导的观测”,不能直接称为纯镜面图。把这部分耦合保留在模型里,后续折射率、粗糙度和散射参数的估计才有共同的物理解释。

六、双层皮肤模型:把光谱变成可以拟合的参数

式(1)里的扩散剖面从哪里来?作者用一个双层皮肤模型,根据两层的吸收和约化散射系数计算它。

这里的两层是便于渲染与反演的有效模型:外层主要考虑表皮黑色素及上部真皮中的血红蛋白,内层主要描述更深部含血红蛋白的组织。它不是把真实皮肤的全部组织结构完整重建出来。

外层吸收:黑色素、血红蛋白与基底的混合

原论文式(2)为:

$$ \begin{aligned} \sigma_a^{\mathrm{out}} ={}&C_m\left(\beta_m\sigma_a^{\mathrm{em}} +(1-\beta_m)\sigma_a^{\mathrm{pm}}\right)\\ &+C_{h,\mathrm{out}}\left(\gamma_{\mathrm{out}}\sigma_a^{\mathrm{oxy}} +(1-\gamma_{\mathrm{out}})\sigma_a^{\mathrm{deoxy}}\right)\\ &+(1-C_m-C_{h,\mathrm{out}})\sigma_a^b. \end{aligned} \tag{2} $$

这条式子是在计算一个混合吸收系数。$C_m$表示外层黑色素比例,$\beta_m$表示黑色素中真黑色素所占的比例,剩余部分为褐黑色素;$C_{h,\mathrm{out}}$表示外层血红蛋白比例。带有$\mathrm{em}$、$\mathrm{pm}$、$\mathrm{oxy}$和$\mathrm{deoxy}$的吸收系数,分别对应真黑色素、褐黑色素、氧合血红蛋白和脱氧血红蛋白;$b$表示基底。

每种成分都有随波长变化的吸收曲线。因此,改变一个比例,影响的是一段光谱的形状,不只是把RGB中的某个通道调亮或调暗。式(2)使图2的光谱差异进入了可优化的皮肤模型。

内层吸收:主要由血红蛋白与基底解释

原论文式(3)为:

$$ \sigma_a^{\mathrm{in}} =C_{h,\mathrm{in}}\left(\gamma_{\mathrm{in}}\sigma_a^{\mathrm{oxy}} +(1-\gamma_{\mathrm{in}})\sigma_a^{\mathrm{deoxy}}\right) +(1-C_{h,\mathrm{in}})\sigma_a^b. \tag{3} $$

$C_{h,\mathrm{in}}$表示内层血红蛋白比例。需要注意,本文将两层的氧合血红蛋白占比固定为$\gamma_{\mathrm{in}}=\gamma_{\mathrm{out}}=0.75$,并没有逐帧恢复血氧饱和度。

最终需要拟合的四个生物物理参数是:$C_m$、$\beta_m$、$C_{h,\mathrm{out}}$和$C_{h,\mathrm{in}}$。它们决定了两层的光谱吸收特性。

散射并没有全部作为未知量自由估计

外层约化散射系数采用原论文式(4):

$$ \sigma_s^{\prime\mathrm{out}}(\lambda) =14.74\lambda^{-0.22}+2.2\times10^{11}\lambda^{-4}. \tag{4} $$

波长$\lambda$以纳米代入,内层约化散射系数固定为外层的50%。这是一项先验约束:作者利用已有光学关系减少未知量,使有限的测量更容易支持反演。

根据这些吸收与散射系数,系统使用多极近似计算双层扩散剖面,再用可分离高斯函数的加权和近似它,以降低计算成本。模型允许全脸参数随位置变化,但在局部求解时,仍假设参数相对于光的平均自由程变化较慢,可以近似为局部均匀。

七、先建立稳定的人脸,再逐帧恢复变化

图5:静态初始化与动态优化

图5|上方利用静态人脸的多视角观测初始化几何与参数;下方跟踪动态人脸,再逐帧优化位移、反射强度和生物物理属性。来源:原论文图5。

如果每一帧都从零开始拟合所有参数,几何和材质很容易互相补偿:表面法线偏一点,可以通过改变高光强度掩盖;粗糙度变一点,也可能产生相似的亮度变化。作者因此采用两阶段流程。

初始化阶段,被试保持中性表情,借助转椅改变人脸相对相机和光源的方向。不同视角提供更多约束,让系统先估计较稳定的参数。

进入动态阶段后,中央模块提供逐帧外观观测,外围双目模块继续提供几何信息。因此,图5中的“单视角”描述的是动态外观优化的观测方式,整套系统仍然依赖多相机采集。

几何:在基础网格上补充细节

系统先通过双目匹配与Poisson表面重建获得基础网格,再建立圆柱纹理映射。不同位置的材质参数,以及用于补充高频几何的位移图$H$,都被放到统一的纹理坐标中。

位移图可以理解为:在已有表面上,为不同位置记录细小的凹凸偏移。它让优化过程能够直接调整细节,避免每次迭代都依赖重新进行网格重建来更新表面。

动态过程中,系统利用光流跟踪顶点,并通过锚点方式稳定运动估计,使各帧具有一致的纹理坐标。这样,一处额头皮肤在做表情时,尽量仍对应同一个参数位置。

外观:哪些参数固定,哪些参数随时间变化?

参数含义动态阶段的处理
$\eta$折射率初始化后固定
$\alpha_s,\alpha_{ss}$镜面与单次散射粗糙度初始化后固定
$\rho_s,\rho_{ss}$镜面与单次散射反照率参数逐帧优化
$\bar\rho_{sss}$次表面多次散射反照率近似逐帧优化
$H$几何位移图逐帧优化
$C_m,\beta_m,C_{h,\mathrm{out}},C_{h,\mathrm{in}}$四个生物物理参数后续逐帧拟合

真实皮肤的粗糙度可能随拉伸、出汗而变化,但从每帧有限的外观观测中同时估计所有量并不稳定。作者将粗糙度固定,把部分残差交给反照率和位移图解释。这个选择有利于优化,也意味着某个参数图的变化,未必只由它对应的真实物理因素造成。

联合优化:让不同观测约束同一个解释

原论文式(5)将初始化时的目标写为:

$$ \begin{aligned} \min_{\eta,\alpha_s,\alpha_{ss},\rho_s,\rho_{ss},\bar\rho_{sss},H} \quad&\lambda_\psi\mathcal L_\psi +\lambda_{sss}\mathcal L_{sss}\\ &+\lambda_s\mathcal L_s +\lambda_\phi\mathcal L_\phi +\mathcal L_{\mathrm{reg}}. \end{aligned} \tag{5} $$

$\mathcal L_\psi$约束折射率相关的偏振响应,$\mathcal L_s$约束镜面与单次散射,$\mathcal L_\phi$约束方位角,$\mathcal L_{\mathrm{reg}}$维持空间和时间上的一致性。作者引入的$\mathcal L_{sss}$则让模型解释次表面散射观测:

$$ \mathcal L_{sss} =\sum_t\mathcal V^t\left(\widehat I_{sss}^{\,t}-I_{sss}^{\,t}\right)^2. $$

$t$表示帧,$\mathcal V^t$是可见性纹理图,避免让不可见位置承担错误的比较。预测图像与实拍观测越接近,损失越小。各权重为$\lambda_\psi=0.002$,其余三项权重为1;数值大小还与各损失自身的尺度有关。

这一阶段没有立刻求解完整的空间扩散剖面。作者先用$\bar\rho_{sss}$作粗略近似,写成$I_{sss}^t\approx S\bar\rho_{sss}T^{++}$,先稳定几何与偏振外观,再进入更复杂的生物物理反演。

生物物理反演:从六通道观测,恢复完整扩散剖面

接下来,系统用双层皮肤模型生成扩散剖面,并让其渲染结果匹配前一步估计的多光谱散射观测。

困难在于,生物物理参数会改变整个空间扩散过程,直接对所有高分辨率纹理参数求导、优化,成本很高。作者采用坐标下降与交替最小二乘,将高斯近似权重和生物物理参数分成两个子问题交替更新,每个剖面使用9个高斯。

计算时,模型在15个波长采样位置上处理光谱,再通过系统标定响应转换成六个相机通道,与测量进行比较。因此,15是模型内部的光谱离散采样数,六才是实际采集通道数,不能把图中的15波段渲染理解为相机直接测得的15张光谱图。

经过这一步,反演输出从粗略的散射强度,进一步变成可用于空间传播和新照明渲染的扩散剖面。

八、结果应该怎么看:相似外观之外,还验证了什么?

先看输出的整体构成

图6:动态重建的外观与散射分解

图6a|完整渲染、新环境光照下的渲染,以及次表面散射分量。来源:原论文图6局部。

图6:四类生物物理参数

图6b|外层血红蛋白、内层血红蛋白、黑色素及真黑色素相对比例。来源:原论文图6局部。

图6:几何与偏振属性

图6c|与照片的差异、镜面与单次散射、折射率、几何、法线、偏振度及线偏振角。偏振度图按原图放大显示。来源:原论文图6局部。

论文对11位不同肤色、性别与族裔背景的参与者进行了采集。图6展示的不同输出,在优化中相互联系:法线影响反射角度,折射率影响Fresnel响应,生物物理参数影响吸收与扩散,最终共同决定渲染结果。

不过,输出一张细致的参数图,并不自动等于这张图已经具有独立的测量精度。需要继续看作者分别验证了什么。

六通道确实比只看RGB更有约束力吗?

图7:估计光谱与参考测量的比较

图7|额头与鼻部的反射光谱。参考值来自高光谱相机测量,比较对象为RGB估计与本文多光谱估计。来源:原论文图7。

这项实验直接检验图2与图4背后的设计:增加光谱观测后,估计出的反射曲线是否更接近独立测量。

观察两条曲线时,重点在波长方向上的形状,而不只是某个点的亮度。论文展示的额头与鼻部样例中,多光谱结果更接近参考曲线,RGB结果的偏离较大。这支持六通道观测对光谱外观恢复的价值;它并不能单独证明每一种组织成分的浓度都被准确测量。

折射率有没有经过验证?

表1:十种物体的折射率验证

表1|将估计折射率与十种实物的参考测量比较,原文报告平均重建误差为0.028。来源:原论文表1。

作者用台球、硅胶等实物验证折射率估计,参考值通过Brewster角测量获得。这提供了独立于人脸渲染相似度的检查。

需要保留实验边界:验证对象是这些实物的折射率,不能把0.028直接当成人脸每个像素的折射率误差,更不能据此推断血红蛋白浓度也有同样的精度。

模型是否真的恢复了偏振响应?

图8:线偏振Mueller矩阵与不同分析方向下的渲染

图8|上方展示线偏振相关的$3\times3$ Mueller矩阵元素,左右分别可视化正值与负值;下方改变相机偏振分析方向进行渲染。部分矩阵元素按原图标注倍率放大。来源:原论文图8。

普通标量外观主要输出一个强度,偏振外观还要解释不同偏振分量之间怎样耦合。图8中的九个元素对应线偏振子矩阵,不能理解为系统独立测量并恢复了完整$4\times4$ Mueller矩阵的全部16个元素。

下排展示相机偏振分析方向从$0^\circ$变化到$150^\circ$时的外观。即使几何、照明不变,分析方向变化也会改变可见的反射强度,这是对偏振模型的额外检验。

图9:偏振度的对比验证

图9|比较参考偏振度、没有偏振BSSRDF时的结果,以及完整方法。偏振度显示强度按原图放大4倍。来源:原论文图9。

图9进一步检查了前面“内部散射出射后重新偏振”的建模是否有用。纳入偏振BSSRDF后,预测的偏振度与参考结果更接近,也说明次表面散射不能只靠一个没有偏振方向信息的颜色项代替。

单次散射与折射率优化,各贡献了多少?

原论文表2在11位参与者、200个新相机姿态上,比较镜面占主导偏振观测的平均RMSE。RMSE越小越好。

折射率与方位角损失单次散射参数优化折射率参数平均RMSE
有无无$4.44\times10^{-2}$
有有无$4.13\times10^{-2}$
有有有$3.94\times10^{-2}$

表2|原论文表2的数据重排,三列保留原表所区分的损失项与参数设置。

加入单次散射参数后,误差由0.0444降至0.0413;继续优化折射率参数后,降至0.0394。两项合计相对下降约11.3%,计算为$(0.0444-0.0394)/0.0444$。

这个结果支持在该系统与测试设置中,单次散射和折射率参数都对解释偏振观测有帮助。表中三组都保留了折射率与方位角损失,不能把它误读成逐步“添加折射率损失”的实验。

九、空间散射模型,比一张底色图多解释了什么?

图10:不同波长下的散射渲染

图10|左侧展示部分内部光谱采样位置的散射渲染,右侧比较多光谱散射、完整渲染及RGB下的外观。来源:原论文图10。

在论文采用的皮肤模型与示例中,较长波长的光在组织内部传播得更远,因此纹理趋于柔和;较短波长下,一些局部细节更锐利。模型需要同时解释这些差异,不能只给整张脸套上相同程度的模糊。

更直接的测试来自窄条照明。

图15:窄条照明检验皮肤内部的空间传播

图15|从左到右比较纹理外观、均匀次表面散射、叠加反照率贴图的均匀散射,以及本文非均匀散射。下方曲线显示指定截面上的强度变化。来源:原论文图15。

如果仅有纹理,光主要跟着被直接照亮的区域变化,难以表现内部扩散;均匀散射模型可以让光向两侧传播,但各位置共用相近的扩散规律;再乘一张反照率图,可以调整局部亮暗,却仍未充分描述不同位置的传播差异。

本文的方法由局部参数决定扩散剖面,因此允许某些位置传播得更远、某些位置吸收得更多。图15的作用,就是把正常光照下容易被整体肤色掩盖的差异显露出来。

这组比较体现的是不同外观模型的空间传输能力,并不是一项带有独立组织浓度真值的生物物理测量实验。

十、做表情和按压额头时,参数会怎样变化?

图11:皱眉过程中的外观与参数变化

图11|额头出现皱纹时的局部照片、渲染,以及外层血红蛋白、内层血红蛋白、黑色素及真黑色素相对比例参数图。来源:原论文图11。

做表情时,几何变化与内部散射会一起影响图像。图11展示了动态皱纹形成时,模型如何随帧调整外观与参数,使细节能够跟随表情变化。

这里要区分“拟合参数发生变化”和“真实组织成分在几秒内发生同等幅度变化”。皱纹会改变遮挡、局部光照和光的传播,而模型又固定了部分粗糙度参数,因此参数图中的局部波动可能同时包含这些因素的影响。尤其不能仅凭图11,把短时间的黑色素图变化解释成真实黑色素浓度的快速变化。

按压实验则提供了一个更有针对性的观察。

图12:解除按压后,额头血色逐渐恢复

图12|照片、渲染、外层血红蛋白参数与黑色素参数随时间的变化。来源:原论文图12。

按压会使局部区域暂时变白。松开后,论文观察到外层血红蛋白参数在约两秒内恢复,而黑色素参数没有明显变化。这与血液重新进入按压区域的现象一致,也展示了模型对不同外观变化来源进行区分的能力。

它仍然是一项合理性验证:论文没有同步提供该区域真实血红蛋白浓度的独立测量,因此不宜把结果扩展成临床意义上的定量血液监测。

十一、与已有方法相比,改善在哪里?

图13:外观对比

图13a|真实照片、Riviere等人的方法、Hwang等人的方法及本文结果;同时给出局部放大和差异图。来源:原论文图13局部。

图13:外观重建误差

图13b|11位参与者、200个新RGB相机姿态上的镜面分量与完整渲染RMSE。来源:原论文图13局部。

论文使用的新视角RGB相机没有参与优化,这使测试不只是检查模型是否重现了输入相机的照片。图13关注鼻子、额头高光及局部皮肤细节:过强的高光与不足的高光都会在误差图中显露出来。

方法镜面分量RMSE↓完整渲染RMSE↓
Riviere等,20200.052680.05996
Hwang等,20220.044750.05630
本文0.039440.05315

图13右侧数值转写。原图纵轴使用$\times10^{-2}$尺度,此表转换为对应小数。

在这组测试中,本文两项误差都最低。相对Hwang等人的方法,镜面分量RMSE约降低11.9%,完整渲染约降低5.6%;这是相对误差下降比例,不是百分点。

比较条件也需要说明:Riviere等人的方法没有公开代码,作者在自己的框架中复现,并将输入由原方法的12张图增加到200张。因而这里评价的是论文所构建的复现设置,不能直接等同于原方法在所有采集条件下的表现。

图14:几何细节的比较

图14|比较普通双目匹配、Hwang等人的重建结果,以及本文的位移图优化结果。来源:原论文图14。

图14中,本文保留了更细的皮肤起伏,减少了平滑和局部伪影。这与前面直接优化位移图、同时使用偏振观测约束表面的设计一致。

不过,论文在这里给出的是几何可视化比较,没有提供独立的高精度表面真值和对应距离误差。因此可以说“展示了更丰富的细节”,但不能据此写成“已验证毛孔级几何精度”。

十二、恢复参数之后,怎样编辑一张脸?

图16:修改血红蛋白与黑色素参数后的渲染

图16|左侧为原始参数;中间将外层血红蛋白参数增至2倍;右侧将黑色素参数增至4倍。来源:原论文图16。

改变外层血红蛋白参数后,皮肤更红;增加黑色素参数后,皮肤呈现更深的肤色。这些变化通过吸收光谱与光传输模型产生,不只是后期给照片加一个颜色滤镜。

这类参数化资产的价值,在于编辑可以与重新打光、反射和散射保持联系。对于数字角色,创作者能够围绕皮肤属性控制外观,而不必为每一种照明重新制作一张纹理。

十三、从采集走向使用,还存在哪些限制?

动态采集并不等于实时恢复

作者使用AMD EPYC 7763 CPU与NVIDIA A100 GPU。论文报告的时间如下:

阶段数据量偏振外观优化生物物理优化
静态初始化200帧约180分钟约50分钟
动态阶段50帧约180分钟约20分钟

这意味着系统可以拍下动态表情,但完整参数反演仍以小时计。20 fps不能用于描述优化速度,也不适合据此宣称已经实现实时动态皮肤重建。

拟合得像,不代表每个参数都唯一且准确

论文明确指出:虽然折射率等部分参数得到了验证,但无法保证所有单独参数,尤其是生物物理参数,都完全准确。

这个限制与模型的简化有关。两层结构、固定的氧合比例、预设的散射规律和固定粗糙度,使问题能够求解,也限制了解释空间。不同误差有时会由其他参数补偿,因此更稳妥的结论是:模型恢复了能够较好解释偏振与多光谱外观、且变化趋势合理的一组参数。

深肤色会削弱内层信号

图17:非常深肤色下的局限

图17|外观与几何仍可重建,但内层血红蛋白贡献可能被低估。来源:原论文图17。

外层黑色素吸收较强时,能够进入深部并返回相机的光更少,内层参数就更难被稳定估计。图17展示的正是这种情况。它说明“包含不同肤色的样例”与“所有肤色上的所有参数都有相同可靠性”是两回事。

此外,系统没有显式建模环境遮蔽。皱纹等高频几何中的局部阴影,可能被解释成反射属性,进而引起小范围黑色素参数波动。两种Dolby滤片在部分波段也存在重叠,光谱转换可能引入细微颜色误差;偏振相机的有效空间分辨率与信噪比,同样构成采集约束。

十四、这篇论文对后续研究的启发

从研究设计看,本文把几类观测放在了各自擅长的位置:双目约束基础几何,偏振约束表面交互,多光谱约束吸收成分,再通过空间散射模型将它们连起来。每种输入都对应一个明确的歧义,而不是单纯增加传感器数量。

对于偏振人脸重建,这提示我们在解释观测时要同时考虑表面反射与内部传播。尤其在窄条照明、肤色变化或局部按压等条件下,一张局部反照率贴图可能不足以承担所有外观变化。

若进一步考虑将这些思想用于高斯表示,下面属于延伸思考:需要研究如何在高效渲染中表达跨表面位置的光传输,以及如何在稀疏观测下限制几何、反照率和组织参数互相补偿。本文提供了可借鉴的物理建模与实验思路,但没有直接验证偏振与3DGS结合之后的毛孔级重建效果。

这项工作的核心价值,是把动态人脸从“随表情变化的一张表面”推进到具有偏振、光谱和空间散射解释的皮肤资产。它展示了更完整的采集与反演流程,也通过参数精度、深肤色信号和优化成本等限制,明确了这种解释目前能够走到哪里。

现在已有 20 次阅读,0 条评论,0 人点赞
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号