DSGAN: Frequency Separation for Real

[pdf]：https://arxiv.org/abs/1911.07850v1
[code]：github:https://github.com/ManuelFritsche/real-world-sr

winner of the AIM Challenge on Real World SR at ICCV 2019

Motivation

现在的大多数超分模型都是在通过已知下采样核得到的LR图像上进行训练，这样得到的模型对真实带有噪声的LR图像进行超分时，得到的结果往往不理想，如下图所示，用ESRGAN模型对带噪声的图像超分时，得到的结果往往会把噪声放大。

Method

分为两个过程，第一个过程主要目的在于生成和真实LR图像具有相同特征的LR图像，第二个过程将第一阶段形成的LR-HR pair 对以有监督的形式训练SR网络。

1、Downsampling with Domain Translation

文章提出了一个DSGA创意金点子N网络，该网络的主要特点是把SR图像高低频信息进行分离，用不同的损失函数来监督网络以更好的生成与带噪声的真实LR图像具有相同特征的LR图像。

把HR图像 y y y通过双三次下采样得到 x b x_b xb​作为网络的输入, 生成器 G d G_d Gd​将 x b x_b xb​转换到域 z z z中，得到的图像 x d x_d xd​。判别器用于判断图像是合成的LR图像 x b x_b xb​还是真实的LR图像 z z z，为了让引入的真实图像特征不改变全局图像内容，只是作局部调整，使用了patch-bad 判别器，它的结果返回一个二维数据，指出图像的某一块是真是假，最后结果取平均。

color loss：通过一个低频滤波器 w L , d w_{L,d} wL,d​，让 x d x_d xd​与 x b x_b xb​在低频信息上的保持一致，以保留图像的内容。

pe招商策划rceptual loss：使用的是VGG网络来提取特征。

GAN loss：使用高频滤波器 w H , d w_{H,d} wH,d​，让GAN loss只需关注于高频信息，因为color loss和perceptual loss已经让网络捕捉低频信息。

total loss:

2、Frequency Separation for Super-Resolution

根据DSGAN得到的LR图像 x d x_d xd​和对应的HR图像 y y y对SR网络进行训练，SR网络采用的是ESRGAN，结构如赛格国际下图所示：

作者用低通滤波器和低通滤波器将生成的SR图像的低频和高频信息分离，用col损失和感知损失关注图像内容的恢复，而GAN损失关注图像细节信致橡树舒婷息的恢复，降低网络训练难度。

color loss：

total loss:

（record by lqy)

本文地址：https://blog.csdn.net/sinat_34546154/article/details/112614765