图片美化前后对比图 图片来源：西弗吉尼亚大学

发布自拍前美颜一下，已成为当下爱美一族的常规操作。但是，无论如何美化，美丽的世界仍有一些难以逾越的门槛，比如面部五官的形状等难以美化。近日，西弗吉尼亚大学和ObEN公司提出了一种新型人脸美化技术，能够基于参照图像提升人脸的颜值，也就是说你的自拍也能变得跟明星一样美。相关论文成果发布在提交论文预印本的平台arxiv.org上。

目前，人脸美化通常基于美妆应用或妆容迁移思想的虚拟人脸美化技术，其中包括 PairedCycleGAN、BeautyGAN、BeautyGlow。其实，妆容迁移只是风格迁移的一种特例，其中描述风格的只有局部特征而已，比如眼影或唇彩。

该论文作者Xudong Liu希望搭建一种更通用的解决方案，能够同时迁移参照图像全局和局部风格代码，通过一到多转译来描述人脸美化的过程。一方面，可通过参照图像逐渐迁移所学习的美颜表征，得到颜值单调增长的输出图像。另一方面，通过学习一系列参照图像得到多种不同的个性化美化结果。

为了实现这一目标，研究人员提出了一种全新的生成对抗网络（GAN）架构。结合近期在基于风格的合成和基于数据的人脸颜值理解方面的最新进展，将基于风格的美颜表征和数据库训练得到的颜值预测整合进人脸美化的过程中。具体来说，基于风格的美颜表征将通过轻量卷积神经网络（LightCNN），从待美化和参照图像中提取，然后将其用于引导风格迁移过程，即美化过程。

Xudong Liu表示，基于 LightCNN 的微调训练了一种人脸颜值预测网络，并将其整合进了新提出的基于风格的人脸美化网络中。这个预测模块能为合成模型提供有价值的反馈，从而接近所需的颜值。

而后，研究人员构建了一个整合重建损失、美颜损失和身份损失函数的专用的基于 GAN 架构。为了对美化过程有细粒度的控制，同时还发明了一种简单但有效的重新加权策略，可逐渐提升合成图像的颜值，直到其达到参照图像水平。

研究人员介绍，这样的人脸美化问题可以表述为两个子问题：风格迁移和颜值预测。随着细粒度的风格迁移的进行，被美化的目标人脸的颜值会单调增长，向参照人脸的颜值靠拢。

评估发现，相比于 CycleGAN、MUNIT 和 DRIT 等当前最佳的图像到图像转译技术，新提出的方法表现更优，甚至能稳健地处理模糊和高难度光照条件下的低质量图像。

但是，研究人员也注意到，当输入存在较大遮挡和姿势差异时，模型往往会产生一些可见的伪影。主要原因是参照图像基本都是正脸图像，而较大遮挡和姿势差异会导致无法很好地对齐。

研究界认为，该研究提供了首个用细粒度控制人脸美化结果的方案，并且实现了美颜效果的定量控制，这种人脸美化技术应用起来更加灵活。

相关论文信息：https://arxiv.org/abs/1912.03630

（卜叶整理）