网站背景图
洗子の小窝 但行己路 无问山海
博主

3小时前在线

洗子の小窝
但行己路 无问山海
Title

CVPR2018|使用深度神经网络推断人脸介观几何

洗子

·

🎓学习录

·

Article

把一张脸做成三维模型,最难的往往不是让鼻子像鼻子,而是让皮肤看起来像皮肤。

脸型、五官和大致表情已经对了,放大后却仍然像塑料:额头没有随表情变化的细纹,鼻翼与面颊缺少不同的表面起伏,毛孔也只存在于颜色里。更麻烦的是,照片中的暗点不一定是凹陷。一颗痣、一根胡茬和一个毛孔,在图像上可能都很暗,却有着完全不同的几何含义。

这篇CVPR2018论文讨论的,就是如何从较容易获取的人脸纹理中,推断这些细小的三维结构。

作者先用Light Stage采集高质量的纹理与几何配对数据,再训练网络学习两者之间的关系。应用时,系统以一张UV纹理图和已有基础网格为起点,先分别预测皱纹等中频位移与毛孔等高频位移,再把高频部分超分辨率到4K,最后用组合后的位移图细化网格。

输入纹理、基础网格与细节结果

图1|相同人物在不同表情下的纹理、基础网格及推断细节。右侧放大图展示额头、眼周和口周的细小结构。来源:原论文图1。

这里的“介观几何”,可以理解为介于整体脸型与更微观皮肤结构之间、会明显影响外观的细小表面形状,包括细纹、毛孔和局部褶皱。

它的目标不是给一张脸随机铺上一层颗粒,而是让细节与面部区域、输入纹理及表情相适应。但这些细节来自学习推断,不能仅凭渲染清晰,就认定每一个毛孔的位置和深度都等同于直接测量结果。

论文信息

项目内容
英文标题Mesoscopic Facial Geometry Inference Using Deep Neural Networks
中文标题使用深度神经网络推断人脸介观几何
发表CVPR 2018
作者Loc Huynh、Weikai Chen、Shunsuke Saito、Jun Xing、Koki Nagano、Andrew Jones、Paul Debevec、Hao Li
机构USC Institute for Creative Technologies、University of Southern California、Pinscreen
项目主页https://vgl.ict.usc.edu/Research/MFG/
论文入口https://openaccess.thecvf.com/content_cvpr_2018/html/Huynh_Mesoscopic_Facial_Geometry_CVPR_2018_paper.html
代码项目主页未列出公开实现入口
关键词人脸细节、位移图、条件GAN、U-Net、多尺度学习、超分辨率、Light Stage

一、为什么“暗的地方更深”会把人脸做错?

一条皮肤褶皱可能因为遮蔽或方向变化而变暗,所以从明暗估计细节,是一个很自然的思路。早期的一些人脸细化方法,便使用类似“dark is deep”的假设:把较暗的纹理解释成较深的表面。

问题是,颜色变化与形状变化在照片中混在一起。

图像中的暗区域可能的来源若直接解释为凹陷会怎样
痣色素或局部外观差异,也可能伴随形状变化把颜色本身压成一个坑
胡茬毛发及其遮挡、反射将毛发误刻进皮肤
毛孔细小几何与局部遮蔽共同作用形状与深度仍可能被估错
眉毛密集毛发形成的暗纹理在眉区生成错误的几何起伏

因此,想让模型区分它们,就不能只告诉模型“哪里更暗”,还需要让它见过“这类纹理实际对应什么形状”。

作者采用的监督数据来自偏振梯度照明下的Light Stage扫描。它提供较高质量的漫射照明纹理与细节几何,让网络学习纹理、位置、上下文和形状之间的关系。

这里有一个重要的前后分工:训练数据依赖专业采集设备,训练完成后的细节推断则不需要重新执行同样复杂的主动照明扫描。 专业扫描的价值被转移到了训练样本中。

这也解释了论文为什么不把“少拍几张照片”作为唯一重点。它更关心的是:怎样让网络从有限的高质量扫描中学到可迁移的皮肤几何知识,同时避免把色素与凹凸混为一谈。

二、完整流程:先得到一张皮肤地图,再补两层几何

系统完整流程

图2|多视角图像生成基础网格与1K纹理;Texture2Disp预测两类1K位移;高频部分经SuperRes提升到4K,中频部分用双三次插值放大,最后组合并作用到网格。来源:原论文图2。

系统的起点不是一个完全没有三维信息的像素数组。作者首先利用已有多视角人脸重建流程,获得基础面部网格,并拟合具有一致拓扑的模板,再生成一张1K分辨率的UV纹理图。

UV图可以理解为把人脸表面展开成二维地图。鼻子、眼周、额头等区域在地图中有相应位置,便于把不同人物与不同表情的观测放到相近的坐标体系中。

输入纹理在均匀、较平坦的照明条件下获取,以减少复杂光照对学习的干扰。它不是任意环境下、无需处理的原始自拍,也不应直接等同于已经严格分离所有阴影的物理反照率图。

进入学习模块后,流程分成两步:

  1. 纹理到位移。 从1K纹理预测两张1K位移图,一张负责中等尺度形状,一张负责更细的起伏。
  2. 高频超分辨率。 将高频位移进一步细化为4K;中频位移则采用普通插值放大。两者组合后,形成最终4K位移图。

所以,基础网格负责整体脸型与大范围表情,位移图负责基础网格之外的细小形状。网络不需要从头重新预测每一个三维顶点。

三、位移图:为什么一张灰度图能控制三维皮肤?

直接预测大量三维顶点,既占内存,也不便利用当时成熟的二维卷积网络。位移图把问题转成了二维图像预测。

在UV图的每个位置存一个数,表示对应表面点需要发生多少细小位移。图像看起来像灰度纹理,保存的却是几何量。

为理解它如何作用于网格,可以写出下面的示意关系:

$$ \mathbf{ x }'(u,v) =\mathbf{ x }_0(u,v)+D(u,v)\mathbf{ n }_0(u,v). $$

$\mathbf{ x }_0$是基础表面位置,$\mathbf{ n }_0$是其法线方向,$D$是该位置的位移,$\mathbf{ x }'$是细化后的表面位置。也就是沿基础表面方向,把某些位置略微推高、另一些位置略微压低。

这是一种帮助理解标量位移的几何表达,不是原论文提供的编号公式。论文重点说明了位移表示、网络分解与训练过程,并没有列出一组完整的编号数学模型。

位移图有两个实际好处。

首先,相比直接保存每点三维坐标,它用单通道就能表达细节残差。其次,在统一UV体系中,网络既能看到局部皮肤纹理,也能利用额头、鼻翼、面颊等区域的上下文。

当然,4K位移图不等于基础网格已经具备足以表达全部微细节的顶点密度。要把细小位移变成可显示或可导出的几何,后续网格细分与渲染也需要足够的采样密度。

这张图保存了细化表面的信息,而最终能呈现多少信息,还取决于如何应用它。

四、关键观察:不是毛孔太少,而是它的数值太小

如果已经有真实位移图,直接训练“纹理→完整位移”不就行了吗?

作者发现,这样做容易学不到细节。原因不只是网络容量,而是不同尺度位移的动态范围相差很大。

中频和高频位移的数值分布

图3|蓝色中频位移分布较宽,红色高频位移集中在很窄的数值区间。纵轴采用对数像素计数。来源:原论文图3。

额头褶皱、面部局部形变带来的位移,与毛孔等细小起伏,并不处在相同的数值尺度上。如果把它们混成一张图训练,网络即使漏掉很多毛孔,只要把大幅度结构预测得差不多,整体损失仍可能相对较小。

可以用一个简单的误差分析理解这种现象。假设某些像素的位移误差为$e$,平方误差项就是$e^2$;在其他条件相同时,幅值相差10倍的误差,其平方项便相差100倍。

这只是说明动态范围如何影响学习的例子,不是说本文实际使用了这一项作为完整训练目标。它说明:小幅度细节并不会因为视觉上重要,就自动在数值优化中获得同样高的权重。

作者的处理方式是先分解真实位移,再分别学习。

根据论文文字过程,可以写为:

$$ D_L=\mathcal{G}(D), \qquad D_H=D-D_L. $$

$D$是原始位移图,$\mathcal{G}$是高斯滤波,$D_L$是滤波得到的较平滑分量,$D_H$是相减后留下的高频残差。这是对原文操作的数学整理;其中残差关系也在原文中明确写出。

注意,下标$L$在本文的分解中对应相对低频的一支,但作者将其称为中频几何。更大尺度的整体脸型已经交给基础网格,因此不应把这一支误解成“重新预测整张脸”。

实现中,作者在4K位移上选用大小为29的高斯滤波核,经验上能较好分离所需细节。原文没有把29写成高斯标准差,也没有给出一个可通用于所有人脸与UV布局的物理尺度阈值。

五、分开以后,还要让两类数值都适合学习

只分成两张图,仍不足以保证小幅度残差被有效学习。作者还进行了数值变换。

高频位移整体放大64倍,让原本挤在狭窄区间中的细小变化,能在有限的像素编码范围内更充分展开。中频位移的变化范围更宽,则用sigmoid变换压入适合的像素范围,避免直接截断较大的位移值。

64倍改变的是学习时的数值表示,不是把真实毛孔放大64倍。最终组合位移时,需要回到兼容的位移尺度;不能把训练编码直接当成真实几何使用。

这一步与高斯分解解决的是不同问题:前者让两类结构不再互相挤占同一个预测任务,后者让各自的数值范围更容易被网络利用。

因此,这篇方法的多尺度处理同时涉及空间频率和数值幅值。 它不是仅仅把图像缩成几种大小,再让网络自己决定关注什么。

六、Texture2Disp:让网络看局部,也知道自己在脸的哪里

纹理到位移模块包含两个分支,两者接收同一张1K纹理,分别预测中频与高频位移。

为便于理解,可以将其输入输出关系写成:

$$ \hat D_L=F_L(T), \qquad \hat D_H=F_H(T). $$

$T$是输入纹理,$F_L$与$F_H$表示两个预测分支,帽号表示预测结果。这些符号用于归纳数据流,不是原文另列的公式。

两个分支采用条件GAN与带跳跃连接的U-Net结构。

1. U-Net:保留位置线索,也汇集较大范围上下文

编码过程逐渐汇集特征,使网络能够判断较大范围的形状与纹理模式;解码过程恢复空间分辨率。跳跃连接把较浅层的局部信息传给相应的解码层,减少细节在压缩过程中丢失。

这对皮肤细节尤其重要。一处暗点应该如何解释,不仅取决于那个像素有多暗,还取决于周围纹理、所在面部区域以及其他样本中的形状关系。

网络因此有机会区分:面颊上的局部色素、鼻翼附近的毛孔,以及口周的胡茬,并不应该使用同一种“压低表面”的规则。

2. 条件GAN:除了逐像素接近,还要具有合理的局部结构

如果训练只追求逐像素接近,而输入本身不足以唯一确定细节,模型很容易在多种可能结果之间折中,输出偏平滑的表面。

条件GAN通过对抗训练,让生成结果除了与输入相关,还需要在局部形态上接近真实扫描的位移。论文采用按局部图块判断真假的判别器,并在空间位置之间共享权重,以学习可重复出现的皮肤结构。

这并不保证模型推断的每个小坑就是原来那一个小坑。对抗学习帮助结果接近真实细节的分布,几何监督则提供与扫描结果对齐的约束;两者的意义不能混为“已经直接测量全部细节”。

原文说明了条件GAN、U-Net和局部判别器的设计,但没有在正文列出完整损失公式与所有权重。因此这里不把通用GAN目标擅自写成这篇论文的具体训练公式。

七、为什么先预测1K,再把高频提升到4K?

即使学到了正确类型的起伏,如果最终位移图分辨率不够,毛孔也可能只占不到几个像素,无法支撑近距离渲染。

作者认为,其设置下至少需要4K位移图,才能表达目标的皮肤细节。但直接对4K整张人脸运行当时的图像翻译网络,计算与显存负担较重。

因此,他们先做1K的整体推断,再把更需要高分辨率的高频部分交给图块超分辨率网络。中频结构已经在较低分辨率下得到表达,实验中使用双三次插值放大即可。

超分辨率训练由4K真实位移生成对应的1K低分辨率样本,从中抽取成对图块:

$$ 64\times64\ \longrightarrow\ 256\times256. $$

这是宽、高各放大4倍,输出像素数量变为16倍。网络学习的不是简单复制像素,而是低分辨率几何模式与高分辨率扫描结构之间的对应关系。

作者采用基于子像素卷积的超分辨率网络。其基本思路是先在低分辨率特征中计算,再把不同通道的信息重新排列到更密集的空间网格,而不是一开始就让所有计算发生在4K图像上。

测试时,系统将高频位移分成规则的$64\times64$图块,分别生成$256\times256$结果,再使用image quilting进行图块拼合,以改善边界处的一致性。

这里“超分辨率”增加的是由训练数据约束的高频结构。它可以改善表面细节的表现,但不能从已经缺失的信息中无条件找回某个人所有真实微结构。

最终的组合过程可以概括为:

$$ \hat D_{4K} =\operatorname{Bicubic}(\hat D_L) +\operatorname{SuperRes}(\hat D_H). $$

该式是数据流示意,默认两分支已恢复到兼容的物理位移尺度。实际实现还包括数值编码的还原和图块拼合,不能把它当作可以跳过这些步骤的完整复现代码。

八、消融图说明:分频与超分分别补上了什么?

分频与超分辨率消融

图4|左列不分频、输出1K;中列分频、输出1K;右列分频并提升到4K。上排为位移图,下排为几何效果。来源:原论文图4。

这张图需要分两次比较。

先比较左列与中列。输出同样是1K,改变的是是否分开学习中频与高频。未分频结果丢失了许多细小结构,中等尺度也出现不理想的起伏;分频之后,主要形状与细微纹理能够同时保留。

再比较中列与右列。分频策略相同,改变的是高频超分辨率。4K结果表现出更丰富、更清晰的介观皮肤结构。

这两组比较对应两种瓶颈:分频帮助网络学到原本容易被忽略的小幅度变化;超分辨率则让这些变化在输出空间中有足够的采样密度。

如果第一步根本没有学到合理细节,单纯把输出变大并不能解决问题;如果输出采样太粗,已经学到的细节也难以充分呈现。

九、训练数据和耗时:专业扫描的知识如何被复用?

论文使用328组配对Light Stage扫描,来自19名训练受试者,年龄为11—56岁,并包含同一人物的多种表情。另用6名受试者测试系统性能。

328不是328名不同的人,而是扫描样本数。多表情数据让网络看到同一张脸在不同状态下的纹理与几何变化;统一UV则帮助模型将不同样本中的相似面部区域联系起来。

它不要求不同人物的毛孔逐个一一对应,因为跨个体并不存在有意义的“同一个毛孔”。但训练仍依赖经过仔细处理的纹理与位移配对,以及大致一致的面部区域对应。

在论文使用的12GB显存Titan X上,作者报告了以下耗时:

环节原文报告
纹理到位移网络训练约8小时
超分辨率网络训练不到2小时
由1K纹理得到两张1K位移约1秒
得到最终4K位移约5秒

这些数字反映的是文中环境下的细节学习与生成流程。它们不能直接当作从相机拍摄、标定、多视角重建到最终网格的全部端到端耗时,也不能据此宣称系统已经实时运行。

十、不同人物和表情:细节是否真的跟着输入变化?

不同人物和表情下的多阶段结果

图5|从左到右为输入纹理、基础网格、仅中频几何、1K多尺度几何、4K多尺度几何。每组下方展示相同区域的放大结果。来源:原论文图5。

这张长图把输出逐层展开。

基础网格保留了脸型和主要表情,但皮肤比较平滑。加入中频后,口周、额头等区域的大一些的褶皱更加明显。组合高频之后,表面进一步出现细小起伏;到4K阶段,这些结构在局部放大中更清楚。

为了便于手机上比较,可以单独看额头区域:

额头细节逐阶段比较

图5局部|列顺序与完整图相同。中频主要补充褶皱形状,高频与超分辨率进一步补充其表面的细纹和皮肤起伏。来源:原论文图5局部。

作者说明,展示的测试人物没有用于训练。这支持网络能够迁移到训练集之外的部分人物和表情,而不是只记住某几张训练纹理。

但测试覆盖仍然有限。不同年龄和肤色的示例能够说明一定适用范围,不能替代更大规模、分人群的系统误差评估。

十一、与“暗即深”比较:重点看痣、胡茬和局部表面差异

推断细节与扫描结果比较

图6|左列为既有细节推断结果,中列为Light Stage扫描参考,右列为本文结果。鼻部、面颊和口周放大图用于比较不同区域的起伏特征。来源:原论文图6。

论文指出,本文结果与扫描参考在鼻尖与面颊的表面起伏差异、上唇附近痣的几何表现上更一致。这里比较的是几何表面纹理,不是独立估计了一张BRDF粗糙度材质图。

这与训练设计形成呼应:当网络能够利用面部上下文及扫描监督,就不必将所有暗纹理都解释为相同类型的凹陷。

作者进一步用位移误差图进行比较。

Light Stage参考与位移误差

图7|三列分别为Light Stage参考、本文方法和“dark is deep”方法。彩色图表示与参考位移的L1误差,图示色标从0到1毫米。来源:原论文图7。

按原文定义,误差是在对应UV位置上比较预测位移与Light Stage位移。对于单个像素,可写为:

$$ e(u,v)=|\hat D(u,v)-D_{\mathrm{ref}}(u,v)|. $$

这只是对论文所述L1误差的展开。它衡量同一位置的位移差,不是两份任意网格之间的Chamfer Distance,也不是法线的角度误差。

图中,胡茬、眉区等容易把颜色与几何混淆的位置,在传统启发式方法中出现较明显误差。本文方法的误差相对更低,支持其在这些区域更稳健的结论。

但色标上限为1毫米,不代表本文平均误差就是某个固定的亚毫米数值。主文没有给出一张全测试集的位移均值误差表,也没有逐项报告毛孔定位、深度或轮廓准确率,因此不能替图表补造这些数值。

与Sela等方法的法线视觉比较

图8|本文与Sela等方法的法线图比较,右侧结果具有更丰富的局部方向变化。来源:原论文图8。

这张图说明两类方法表达细节的差别。Sela等方法从图像推断深度与对应,再进行几何细化;本文则直接以扫描位移中的细节为监督目标。图中的清晰程度支持视觉比较,但不能单独替代统一协议下的几何准确性统计。

十二、用户觉得它像真人吗?Light Stage仍然领先

作者还进行了一次不带皮肤颜色纹理的几何真实感排序实验。三类结果分别来自本文、Light Stage扫描,以及“dark is deep”方法。它们采用一致的头部朝向并随机排列,减少显示方式造成的偏差。

实验使用6个测试人物的渲染,25名参与者一共提交58份回答。原文报告的“最真实”选择比例为:

结果来源被选为最真实的比例
Light Stage67.2%
本文方法20.7%
“dark is deep”12.1%

这个结果很有分量,因为它没有把“看起来接近专业扫描”写成“已经与专业扫描没有差别”。Light Stage仍然占明显优势;本文在这个小规模研究中,相比启发式细节推断获得了更多最真实选择。

同时,25名参与者与58份回答不是同一个统计量,不能把这些比例直接换算成25人中的人数。这是一项有限规模的感知研究,也不等同于几何测量精度评估。

十三、动态视频和普通照片:可以延伸到哪里?

1. 动态结果依赖稳定输入,而不是额外的时序网络

作者报告,将方法逐帧应用到表情序列时,可以得到较稳定的动态位移,并在补充视频中展示变化的皱纹与毛孔。

主文描述的网络是逐帧预测,并没有额外给出循环网络或时序损失。不能因为论文称结果具有时间一致性,就反推它使用了某种没有说明的时序约束。

从方法流程看,一致拓扑与UV有助于让同一块皮肤在不同帧保持可比的位置,而输入纹理随表情的变化,则为动态细节提供线索。这是理解结果的一条合理路径,仍不等于对所有视频、快速运动和遮挡都提供稳定性保证。

2. 无约束照片需要额外的纹理处理

无约束图像的扩展示例

图9|普通图像经过纹理与基础模型处理后,用于推断位移细节。中间展示局部位移和渲染,右侧展示最终几何。来源:原论文图9。

训练主要使用均匀照明纹理,现实照片却可能有强阴影、遮挡或缺失区域。作者因此讨论与既有反照率合成方法结合,补偿照明变化、补齐纹理,再把得到的纹理交给细节网络。

图9展示的是这种组合使用的潜力,不是证明网络可以忽略输入条件,直接对任意原始照片进行同等精度的几何测量。

论文也明确提到,较浓重的舞台妆可能带来位移伪影;罕见的痣、斑点与疤痕等,还需要更多相应训练数据。一个模型学到的纹理—形状关系,如果超出训练覆盖,就可能给出不合适的解释。

十四、这篇论文留下的启发:细节生成既要看得清,也要分得开

这项工作的价值,不只在于用了条件GAN或超分辨率,而在于把问题拆成了适合学习的形式。

用统一UV位移图承载细节,减少了直接预测密集三维坐标的负担;分开中频与高频,避免幅值大的结构淹没细小起伏;再对高频进行超分辨率,让细节能够在输出中得到足够采样。每个设计,都对应了一个明确的表达或学习瓶颈。

对于毛孔级人脸重建,它也提出了一个需要持续面对的问题:视觉上合理的高频结构,与这个人真实存在的微细几何,应该怎样分别验证?

这篇论文已经用Light Stage位移参考和感知实验提供了证据,也展示了学习先验能减少简单明暗假设带来的错误。但当输入没有足够信息时,生成结果仍然包含从训练样本中获得的推断。

更丰富的几何形变、镜面反射与其他物理观测,有机会进一步约束这种推断。作者也将几何应力和局部高光列为后续可加入的输入线索。让细节既符合真实皮肤的统计规律,又受到当前这张脸的观测约束,是从“看起来像皮肤”继续走向“更准确地还原这块皮肤”的关键。

现在已有 19 次阅读,0 条评论,0 人点赞
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号