超人简笔画

超⼈总动员「真⼈版」长啥样？图像转换框架「pSp」让你变成「巴⼩飞」

编辑：QJP

【新智元导读】前⼏天的迪⼠尼风格的图像转换你试了吗？近期，国外研究⼈员⼜提出了⼀个通⽤的图像到图像的转换

框架：Pixel2Style2Pixel（pSp），可以将⽪克斯风格的动画⾓⾊变成同样风格的真⼈图像。

近年来，GAN已经具有⾮常好的图像合成功能，尤其是在⼈脸图像上，最新的图像⽣成⽅法已经实现了很⾼的视觉质量

和保真度，现在可以⽣成逼真的图像。

⽽该团队专注于更⼴泛的隐空间的嵌⼊，旨在检索潜在的⽣成所需要的但不⼀定已经知道的图像的向量。

为此，他们引⼊了⼀种新颖的编码器架构，该架构的任务是将任意图像直接编码为隐空间W+。同时，使⽤了⽪克斯动

画⾥的⾓⾊进⾏测试，效果也是⾮常的感⼈：

编码器基于特征⾦字塔⽹络「FeaturePyramidNetwork」，从不同的⾦字塔⽐例提取特征向量，并根据其空间⽐例将

其直接插⼊固定的、经过预训练的StyleGAN⽣成器中。

是不是从⽪克斯动画⾓⾊⽣成的「真⼈」，也⾮常动漫化呢？

蒙娜研讨材料怎么写 丽莎「现代版」也许长这样：

全新的框架：Pixel2Styl围城经典语录 e2Pixel

在最近发表的论⽂《En教授工资 codinginStyle:aStyleG续签合同申请书 ANEncoderforImage-to-ImageTranslation》中，来⾃Penta-AI和特

拉维夫⼤学的研究⼈员介绍了⼀种通⽤的图像转换框架，称为Pixel2Style2Pixe小学生自我评价 l(pSp)。

与以往使⽤专⽤任务特定架构的⽅法不同，该论⽂提出的框架旨在使⽤相同的架构来解决各种图像到图像的任务，这是

⼀种避免可能出现的局部偏差的全局⽅法。

⾸先展⽰了全新的编码器可以直接嵌⼊真实的图像到W+，没有使⽤额外的优化。通过进⼀步引⼊了⼀个专⽤的损失，

表明在重建输⼊图像的性能提⾼。

pSp框架是基于⼀种全新的编码器⽹络，直接⽣成⼀系列的风格向量，这些向量被输⼊预先训练好的StyleGAN⽣成器，

形成扩展的W+潜在空间。

pSp是⼀个简单的架构，可以很容易地应⽤于image2image的转换任务。

通过样式表⽰来解决这些问题会产⽣⼀种不依赖于局部像皮蛋牛肉粥 素到像素对应的全局⽅法，并通过样式的重采样进⼀步⽀持多

模态合成。

图：pSp框架和其他⽅法在CelebA-HQ数据集上的对⽐

⾯部对齐

值得注意的是，我们证明了pSp可以在不使⽤任何标记数据的情况下将⼈脸图像与正⾯姿态进⾏对齐，可以垂耳兔怎么养 为模糊任务

⽣成多模态结果，如从分割图⽚⽣成条件⼈脸，并从相应的低分辨率图像构建⾼分辨率图像。

⽣成多模态结果，如从分割图⽚⽣成条件⼈脸，并从相应的低分辨率图像构建⾼分辨率图像。

图：使⽤输⼊的任意⾓度⼈脸图像⽣成正⾯的⼈脸图像

该⽅法在⼈脸前端化等任务中显⽰出强⼤的优势，其编码器可以在完全⽆监督的情况下训练，以⼀些表情将给定的⼈脸

图像对齐。

研究⼈员指出，尽管最先进的图像⽣成⽅法StyleGAN可以⽣成具有现实感的图像，但与众不同 它也有⼀个分离的潜在空间w，

在那⾥可以进⾏有意义的操作。

条件图像合成

由于利⽤潜在空间的各种⽅法都显⽰出了良好的图像到图像的转换效果，将真实图像编码到扩展潜在空间w+中已成为

研究⼈员的⼀种常⽤⽅法，在⾼分辨率合成、多模态图像合成、多域图艺术设计毕业论文 像合成、条件图像合成等领域有着⼴泛的应⽤。

然⽽，快速、直接、准确地将真实图像转换成w+仍然是⼀个挑战。该⼩组专注于后期空间嵌⼊的任务，其⽬的是检

索⼀个⽣成期望的(未必知道的)图像的向量。

超⾼分辨率

在这⾥，作者还证明了他们的框架可⽤于从相应的低分辨率（LR）输⼊图像构造⾼分辨率（HR）⾯部图像。

由于该编码器是基于特征⾦字塔⽹络，样式特征向量提取⾃各种⾦字塔尺度，并直接插⼊到⼀个固定的、对象再训练的

StyleGAN⽣成器中，以配合技术空间的尺度。

研究⼈员观察到，当⼀个⽹络被训练时，其ID相似性损失与以前的直接⽅法相⽐，会表现出更好的效果。

在实验中，该团队证明了他们的image2image转换框架pSp在各种应⽤程序中取得了引⼈注⽬的结果，同时提出了⼀种

通过样式重采样进⼀步⽀持多模态综合的全局⽅法。

他们还表明，⼀些固有的假设需要进⼀步验证，例如：由于提出的⽅法没有利⽤「局部性」，保留诸如⽿环或背景细节

等输⼊图像的精细细节已成为⼀个挑战。