ｄｏｉ：
１０．３９６９／ｊ．ｉｓｓｎ．１００３－３１０６．２０２３．０１．０２８
引用格式：周小力，史方，赖松雨，等．基于增强型超分辨率生成对抗网络的文物图像色彩重建［Ｊ］．无线电工程，２０２３，５３（１）：２２０－２２９．［ＺＨＯＵＸｉａｏｌｉ，ＳＨＩＦａｎｇ，ＬＡＩＳｏｎｇｙｕ，ｅｔａｌ．ＣｏｌｏｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＣｕｌｔｕｒａｌＲｅｌｉｃｓＩｍａｇｅＢａｓｅｄｏｎＥｎｈａｎｃｅｄＳｕｐｅｒ
ＲｅｓｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ［Ｊ］．ＲａｄｉｏＥｎｇｉｎｅｅｒｉｎｇ，２０２３，５３（１）：２２０－２２９．］
基于增强型超分辨率生成对抗网络的文物图像色彩重建
周小力，史 方，赖松雨，骆忠强
（四川轻化工大学自动化与信息工程学院，四川宜宾６４４０００）
摘 要：针对书画文物的褪色和画面暗旧等问题，提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建
（ＣｏｌｏｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＣｕｌｔｕｒａｌＲｅｌｉｃＩｍａｇｅｓＢａｓｅｄｏｎＥｎｈａｎｃｅｄＳｕｐｅｒ ＲｅｓｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ，ＣＲ ＥＳＲＧＡＮ）模型。该模型针对缺少成对图像的数据集问题，在双３次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ＥＳＲＧＡＮ网络，在其生成网络中引入自注意力机制，以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比（ＰｅａｋＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ，ＰＳＮＲ）／结构相似性（ＳｔｒｕｃｔｕｒａｌＳｉｌｉｌａｒｉｔｙＩｎｄｅｘ，ＳＳＩＭ）的基础上引入颜色评价指标ＣＩＥＤＥ２０００，以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比，视觉效果和图像质量有较高的提升。
关键词：
书画文物图像；超分辨率重建；色彩修复；生成对抗网络；自注意力机制中图分类号：ＴＰ３９１．４文献标志码：Ａ开放科学（资源服务）标识码（ＯＳＩＤ）：文章编号：１００３－３１０６（２０２３）０１－０２２０－１０
ＣｏｌｏｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＣｕｌｔｕｒａｌＲｅｌｉｃｓＩｍａｇｅＢａｓｅｄｏｎＥｎｈａｎｃｅｄ
Ｓｕｐｅｒ ＲｅｓｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ
ＺＨＯＵＸｉａｏｌｉ，ＳＨＩＦａｎｇ，ＬＡＩＳｏｎｇｙｕ，
ＬＵＯＺｈｏｎｇｑｉａｎｇ
（ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＳｉｃｈｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＬｉｇｈｔＣｈｅｍｉｃａｌＴｅｃｈｎｏｌｏｇｙ，Ｙｉｂｉｎ６４４０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｆｏｒｔｈｅｐｒｏｂｌｅｍｓｏｆｆａｄｉｎｇｏｆｐａｉｎｔｉｎｇａｎｄｃａｌｌｉｇｒａｐｈｙｃｕｌｔｕｒａｌｒｅｌｉｃｓａｎｄｄａｒｋｏｌｄｐｉｃｔｕｒｅｓ，ａＣｏｌｏｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆ
ＣｕｌｔｕｒａｌＲｅｌｉｃｓＩｍａｇｅｓＢａｓｅｄｏｎＥｎｈａｎｃｅｄＳｕｐｅｒ Ｒｅｓｏ
ｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ（
ＣＲ ＥＳＲＧＡＮ）ｍｏｄｅｌｆｉｓｐｒｏｐｏｓｅｄ．Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｄａｔａｓｅｔｓｌａｃｋｉｎｇｐａｉｒｅｄｉｍａｇｅｓ，ａｃｏｌｏｒｔｒａｎｓｆｅｒａｌｇｏｒｉｔｈｍｉｓｕｓｅｄｂｙｔｈｅｍｏｄｅｌｔｏｇｅｎｅｒａｔｅｒｅａｌｉｓｔｉｃｄａｒｋ，ｆａｄｅｄａｎｄｆａｄｅｄｃｕｌｔｕｒａｌｒｅｌｉｃｉｍａｇｅｓｏｎｔｈｅｂａｓｉｓｏｆｂｉｃｕｂｉｃｄｏｗｎｓａｍｐｌｉｎｇ．ＴｈｅＥＳＲＧＡＮｎｅｔｗｏｒｋｉｓｉｍｐｒｏｖｅｄ，ａｎｄｓｅｌｆ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｏｉｔｓｇｅｎｅｒａｔｉｖｅｎｅｔｗｏｒｋｔｏｅｎｈａｎｃｅｔｈｅｔｅｘｔｕｒｅｄｅｔａｉｌｓｏｆｔｈｅｒｅｃｏｎｓｔｒｕｃｔｅｄｉｍａｇｅｓ．Ｂａｓｅｄｏｎｔｈｅｃｏｍｍｏｎｌｙｕｓｅｄｉｍａｇｅ
ｑｕａｌｉｔｙｅｖａｌｕａｔｉｏｎｉｎｄｅｘＰｅａｋＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ（
tanya
ＰＳＮＲ）／ＳｔｒｕｃｔｕｒａｌＳｉｍｉｌａｒｉｔｙＩｎｄｅｘ（ＳＳＩＭ），ｔｈｅｃｏｌｏｒｅｖａｌｕａｔｉｏｎｉｎｄｅｘＣＩＥＤＥ２０００ｉｓｉｎｔｒｏｄｕｃｅｄｔｏｅｖａｌｕａｔｅｔｈｅｑｕａｌｉｔｙｏｆｔｈｅｒｅｃｏｎｓｔｒｕｃｔｅｄｉｍａｇｅｍｏｒｅｃｏｍ
ｐｒｅｈｅｎｓｉｖｅｌｙａｎｄｏｂｊｅｃｔｉｖｅｌｙ．Ｃｏｍｐａｒｅｄｗｉｔｈｓｅｖｅｒａｌｅｘｉｓｔｉｎｇｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎａｌｇｏｒｉｔｈｍｓａｎｄｉｔｓｃｕｌｔｕｒａｌｒｅｌｉｃｉｍａｇｅｃｏｌｏｒｒｅｓｔｏｒａｔｉｏｎｍｅｔｈｏｄ，ｔｈｅｖｉｓｕａｌｅｆｆｅｃｔａｎｄｉｍａｇｅｑｕａｌｉｔｙｈａｖｅｂｅｅｎｉｍｐｒｏｖｅｄｂｙｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ．
Ｋｅｙｗｏｒｄｓ：ｃｕｌｔｕｒａｌｒｅｌｉｃｓａｎｄｐａｉｎｔｉｎｇｉｍａｇｅｓ；ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ｃｏｌｏｒｒｅｓｔｏｒａｔｉｏｎ；ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋ；
ｓｅｌｆ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ
收稿日期：２０２２－１０－２１基金项目：国家自然科学基金（６１８０１３１９）；四川省科技计划资助项目（２０２０ＪＤＪＱ００６１，２０２１ＹＦＧ００９９）；中国高校产学研创新基金项目（２０２０ＨＹＡ０４００）
ＦｏｕｎｄａｔｉｏｎＩｔｅｍ：ＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（６１８０１３１９）
；
ＰｒｏｊｅｃｔＦｕｎｄｅｄｂｙＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＰｒｏｇｒａｍｏｆＳｉｃｈｕａｎＰｒｏｖｉｎｃｅ（２０２０ＪＤＪＱ００６１，２０２１ＹＦＧ００９９）；ＰｒｏｊｅｃｔｏｆＵｎｉｖｅｒｓｉｔｙＩｎｄｕｓｔｒｙ Ｕｎｉｖｅｒｓｉｔｙ ＲｅｓｅａｒｃｈＩｎｎｏｖａｔｉｏｎＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（２０２０ＨＹＡ０４００）
０
引言
古代书画作品有着很高的文化、社会、艺术和人文价值，但是由于时间的流逝、环境的变化以及创作纸张、绢布和颜料等因素的影响，许多从古代流传至今的书画作品出现了不同程度的损坏和褪色。目前，我国书画文物的保护修复主要依赖于传统的书画装裱技
术［１
］。对于褪色和色彩被破坏的书画文物主要采取用毛笔等工具手动填色和修复的方式。这个过程对修复人员的专业要求极高，且在人工修复的过程中可能会对文物造成二次破坏，导致最终的修复结果不能令人满意。虽然一些基于现代科技的文物色彩修复技术被
提出，例如基于可见光谱［２－３
］的文物色彩修复，
但其在修复色彩的同时会造成一些图像的局部细节丢失。因
工程与应用
此，利用数字图像修复技术对书画文物暗旧、褪色等问题进行研究具有重要的意义［４
］。在颜色修复方面，
Ｒｅｉｎｈａｒｄ等［５
］
第一次提出使用数字图像处理技术对图像进行颜色矫正，但其只对颜色单一的图像有良好的效果，对于颜色复杂的图像会产生较多的误差。胡国飞等［６
］在此基础上提出了一种基于统计学的自适应图像颜色迁移技术，在还原色彩的同时能够保留局部纹理信息。２００５年，张引等［７
］提出了利用无监督学习聚类自动采集样本的颜色还原方法，但该方法对图像纹理特征和亮度特征存
在较大的差异时效果不理想。Ｇａｔｙｓ等［８
］利用卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ）的特征表示来约束纹理以及色彩信息的合成，但是对一些含有噪声的
图像来说并不能达到理想的效果。２０１９年由Ｈａｓｈｉｓｈｏ等［９
］提出的利用具有Ｕ Ｎｅｔ架构的去噪自动编码器开
发的水下去噪自动编码器（ＵｎｄｅｒｗａｔｅｒＤｅｎｏｉｓｉｎｇＡｕ ｔｏｅｎｃｏｄｅｒ，ＵＤＡＥ）模型实现了对水下图像的颜色恢复。随后，
Ｘｕ等［１０
］提出了一个基于参考的端到端的学习框架来实现对旧照片的恢复和着色，参考图像中的颜色先验来指导过程。
上述方法在针对自然图像以及特定场景图像的颜色修复中取得了较好的效果，但是并不适用于书画文物图像这样结构复杂、色彩丰富的图像。因此本文旨在研究一种适用于书画文物图像的色彩重建方法。为了在重建文物图像色彩的同时能保证图像的结构及纹理细节不受破坏，本文提出将图像超分辨
率重建技术引入到书画文物图像色彩重建工作中。图像超分辨率（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ，ＳＲ）是一种重要的图像处理技术，旨在从低分辨率（Ｌｏｗ
Ｒｅｓｏｌｕｔｉｏｎ，ＬＲ）
图像中恢复丰富的细节。近年来，许多基于ＣＮＮ的ＳＲ方法被提出。Ｄｏｎｇ等［１１－１２
］首先提
出了一个简单的图像超分辨率神经网络，并在后续提出了改进网络，提升了训练速度。同一年，Ｓｈｉ等［１３
］提出了亚像素卷积层，可以在ＬＲ空间中实现特征提取。Ｋｉｍ等［１４－１５
］引入了残差学习，并使用高学习率来优化其网络。Ｌｉｍ等［１６
］提出了增强型深度超分辨率（ＥｎｈａｎｃｅｄＤｅｅｐＳｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ，ＥＤＳＲ）网络，改
进了残差网络内部结构，去掉了ＢＮ（Ｂａｔｃｈ
四级常考词组
Ｎｏｒｍ）层，减少了内存使用量。２０１８年，
Ｚｈａｎｇ等［１７
］提出了深度残差通道注意网络（ＲｅｓｉｄｕａｌＣｈａｎｎｅｌＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｓ，ＲＣＡＮ）。Ｌｅｄｉｇ等利用生成对抗网络（Ｇｅｎ ｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ，ＧＡＮ）［１８
］在超分辨率领域做了创新，提出了超分辨率生成对抗网络（Ｓｕｐｅｒ Ｒｅｓ
榆耳ｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ，ＳＲＧＡＮ）
［１９
］。随后，
Ｗａｎｇ等［２０
］提出了增强型超分辨率生成对抗网络（ＥｎｈａｎｃｅｄＳｕｐｅｒ ＲｅｓｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ，ＥＳＲＧＡＮ），改进了ＳＲ ＧＡＮ的残差网络结构、感知损失函数以及判别器的标准，在自然纹理上获得了更好的视觉效果。
本文基于ＥＳＲＧＡＮ模型，
结合自注意力机制以及颜色迁移算法，提出一种基于增强型超分辨率生成对抗网络的文物图像色彩重建（Ｃｏｌｏｒ
ＲｅｃｅｎｓｔｒｕｃｔｉｏｎｏｆＣｕｌｔｕｒａｌＲｅｌｉｃＩｍａｇｅｓＢａｓｅｄｏｎＥｎ ｈａｎｃｅｄＳｕｐｅｒ ＲｅｓｏｌｕｔｉｏｎＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔ ｗｏｒｋ，ＣＲ ＥＳＲＧＡＮ
），实现书画文物图像的色彩恢复以及改善画面暗旧的问题。
１
基于增强型生成对抗网络的文物图像色彩重建模型
ＣＲ ＥＳＲＧＡＮ
整体框架如图１
所示。
图１
ＣＲ ＥＳＲＧＡＮ
整体网络框架
Ｆｉｇ．１ ＯｖｅｒａｌｌｎｅｔｗｏｒｋｆｒａｍｅｗｏｒｋｏｆＣＲ ＥＳＲＧＡＮ
工程与应用
该模型针对色彩受损（如暗旧、褪色等）的书画文物图像，在ＥＳＲＧＡＮ的基础上，提出了运用超分辨率重建的方法生成色彩，得到修复的高分辨率书画文物图像的模型。整体分为训练和测试２个阶段。在训练阶段，利用退化模型处理书画文物数据集中的颜色未受损的高分辨率图像ＩＨＲ
，生成特征逼近真实暗旧、褪色的低分辨率书画文物图像ＩＬＲ
的图像ＩＨＲ
＾，形成ＬＲ ＨＲ图像对进行训练。ＩＨＲ
＾经过超分辨率重建后生成ＳＲ图像ＩＨＲ＾。判别网络通过最小化损失函数的值来优化训练过程。在训练阶段，将数据集中的原始低分辨率图像ＩＬＲ
输入到训练好的模型中进行测试，然后与真实的高分辨率图像ＩＨＲ
进行对比，比
较主观效果以及计算峰值信噪比（ＰｅａｋＳｉｇｎａｌｔｏ
ＮｏｉｓｅＲａｔｉｏ，ＰＳＮＲ），结构相似性（ＳｔｒｕｃｃｔｕｒａｌＳｉｍｉｌａｒｉｔｙＩｎｄｅｘ，ＳＳＩＭ）和ＣＩＥＤＥ２０００来定性分析重建图像的质量。１．１ 退化模型
用于图像超分辨率重建的低分辨率图像通常通过对ＨＲ图像下采样得到，而应用于书画文物图像的场景时，如何模拟文物图像的色彩退化是提升重建效果的关键。因此引入了颜色迁移来模拟真实的文物图像色彩退化过程，再对图像进行４倍的双三次下采样，得到最终的低分辨率图像ＩＨＲ
＾。ＣＲ ＥＳＲ ＧＡＮ的退化模型如图２所示。
图２
ＣＲ ＥＳＲＧＡＮ
退化模型
Ｆｉｇ．２ ＣＲ ＥＳＲＧＡＮｄｅｇｒａｄａｔｉｏｎｍｏｄｅｌ
颜色迁移算法是由Ｒｅｉｎｈａｒｄ等在２００１年首次提出的一种实现彩色图像之间整体颜色变换
的算法，具体实现步骤如下：①将源图像和目标图像由ＲＧＢ空间转换到ｌαβ空间。②根据ｌαβ空间各颜色分量不相关的特点，提出了一组颜色迁移公式： ｌ槇ｄｓｔ
＝σＩｄｓｔσｌｓｒｃ
（ｌｄｓｔ
－μｌｄｓｔ
）＋μｌｓｎｃ
，（１）α槇ｄｓｔ
＝σαｄｓｔσ
αｓｒｃ
αｄｓｔ
－μαｄｓｔ
()＋μαｓｒｃ
，（２）β槇ｄｓｔ
＝σ
βｄｓｔσ
βｓｒｃ
βｄｓｔ
－μβｄｓｔ
()＋μβｓｖｃ蓝田裤带面
，（３）式中，ｌｄｓｔ
，αｄｓｔ
，βｄｓｔ
分别表示目标图像像素的ｌ，α，β分量；ｌ槇ｄｓｔ
，
α槇ｄｓｔ
bushel，β槇ｄｓｔ
分别表示颜色迁移后结果图像像素的ｌ，α，β分量；μｌｄｓｔ
，μαｄｓｔ
，μβｄｓｔ
与σＩｄｓｔ
，σａｄｓｔ
，σβｄｓｔ
表示目标图像
ｌ，α，β分量的均值与标准差；μｌｓｎｃ
，μαｓｒｃ
，
μβｓｖｃ
与σｌｓｒｃ
，σａｓｒｃ
，σβｓｒｃ
表示源图像ｌ，α，β分量的均值与标准差。③将经过迁移合成后的结果图像从ｌαβ空间转换到ＲＧＢ空间。
在本文中，选取色彩未受损以及画面整体较完整的文物图像作为源图像，截取色彩受损（如发黄、
暗旧等）文物图像纯色（尽量不包含绘画和书法）部分作为目标图像进行颜色迁移计算，从而使未受损图像的颜色逼近受损文物图像的颜色。部分颜色迁移效果如图３
所示。图３ 部分颜色迁移效果
Ｆｉｇ．３ Ｐａｒｔｏｆｔｈｅｃｏｌｏｒｍｉｇｒａｔｉｏｎｅｆｆｅｃｔｄｉａｇｒａｍ
工程与应用
１．２ 基于自注意力的生成网络
书画文物图像有极高的艺术价值，每一副书法和绘画作品都包含着丰富的历史信息，承载着一代人的文化底蕴。所以，在书画文物图像色彩超分辨重建任务中，对细节和纹理的恢复有极高的要求。为了实现这一点，本文在ＥＳＲＧＡＮ生成网络结构的基础上融合了自注意力机制［２１］，设计自注意力机制残差模块。它能够利用图像的全局特征进行图像超分辨率重建，使重建后的图像拥有更丰富的纹理细节。生成器网络结构如图４所示。自注意力机制残差模块如图５所示。
图４ 基于自注意力机制的生成器网络结构
Ｆｉｇ．４ Ｇｅｎｅｒａｔｉｖｅｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅｂａｓｅｄｏｎｓｅｌｆ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ
图５ 自注意力机制残差模块
Ｆｉｇ．５ Ｒｅｓｉｄｕａｌｍｏｄｕｌｅｏｆｓｅｌｆ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ
生成器网络共包含３个模块：初始特征提取模块、自注意力机制残差模块以及重建模块。
自注意力层原理如图６所示。其中，自注意力机制残差模块在ＥＳＲＧＡＮ中的残差密集块（Ｒｅｓｉｄ ｕａｌ ｉｎ ＲｅｓｉｄｕａｌＤｅｎｓｅＢｌｏｃｋ，ＲＲＤＢ）的基础上引入了自注意力机制，由图６可以看出，将ＲＲＤＢ最后一层卷积层中提取的特征图ｘ∈瓗Ｃ×Ｎ转换为２个空间特征ｆ，ｇ用于计算注意力，其中，Ｃ表示通道数目，Ｎ表示隐藏层中的特征数目，ｆ（ｘ）＝Ｗｆｘ，ｇ（ｘ）＝Ｗｇｘ。对ｆ（ｘ）输出矩阵进行转置再与ｇ（ｘ）输出矩阵相乘，用Ｓｏｆｔｍａｘ进行归一化后获得注意力图βｊｉ。
图６ 自注意力层原理
Ｆｉｇ．６ Ｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆｔｈｅｓｅｌｆ ａｔｔｅｎｔｉｏｎｌａｙｅｒ
ｓｉｊ＝ｆ（ｘｉ）Ｔｇ（ｘｊ），βｊ，ｉ＝ｅｘｐ
（ｓｉｊ）
∑Ｎ
ｉ＝１
ｅｘｐ（ｓｉｊ）
，（４）
式中，βｊｉ表示在合成第ｊ各区域时对第ｉ个位置的关注度。
自注意力层的输出为ｏ＝（ｏ１，ｏ２，…，ｏｊ，…，ｏＮ）∈瓗Ｃ×Ｎ，其中，ｏｊ＝ｖ(∑Ｎｉ＝１βｊ，ｉｈ（ｘｉ）)，ｈ（ｘｉ）＝Ｗｈｘｉ，ｖ（ｘｉ）＝Ｗｖｘｉ。
Ｗ
ｈ，Ｗｖ
是学习到的权重矩阵，通过１×１的卷积
工程与应用
实现。接着将注意力层的输出与比例参数相乘，并将其添加回输入特征图，最终的输出为：
ｙｉ
＝γｏｉ
＋ｘｉ
，
（５）式中，γ是一个可以学习的标量，
被初始化为０。引入可学习的γ可以使网络首先依赖于局部信息，进而为非局部信息提供更多的权重。１．３ 判别网络
本文的判别器网络结构如图７所示，采用ＥＳＲ
ＧＡＮ的判别网络。由６个卷积块（无济于事的意思是什么
Ｃｏｎｖ）组成，然后是２个线性层。每个卷积块都有２个卷积层块，
其中第１个卷积层ｋ＝３，ｓ＝１即卷积核大小为３，步长为１。第２个卷积层ｋ＝４，
ｓ＝２。每一个卷积块上ｎ的数量都是不同的，即通道数目，具体数值如图７所
示。ＥＳＲＧＡＮ的判别器与ＳＲＧＡＮ中的标准判别器
Ｄ不同，采用相对判别器ＤＲａ
来优化网络。判别网络将生成器Ｇ生成的重建图像ＩＨＲ
＾和原始高分辨率图像ＩＨＲ
作为输入，判别器ＤＲａ
预测真实图像ＩＨＲ
比重
建图像ＩＨＲ
＾更真实的概率，
其优化过程可以表示为：{
ＤＲａＩＨＲ，ＩＨＲ＾()＝σＣＩＨＲ()－ ＣＩＨＲ＾()[]()→１ＤＲａＩＨＲ＾，
ＩＨＲ()＝σＣＩＨＲ＾()－ ＣＩＨＲ
()[]()→０，（６）
式中，σ表示Ｓｉｇｍｏｄ函数；
Ｃ表示未转换的鉴别器输出；
ＤＲａ
ＩＨＲ
，ＩＨＲ＾()表示ＩＨＲ
相较ＩＨＲ
＾更接近“１”，即“真”的概率；ＤＲａ
ＩＨＲ
＾，
ＩＨＲ
()表示ＩＨＲ
＾较ＩＨＲ
更接近与“０”，即“假”
的概率。
图７ 判别器网络结构示意
Ｆｉｇ．７ Ｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆｔｈｅｄｉｓｃｒｉｍｉｎａｎｔｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅ
由此，判别网络的损失函数表示为：
ＬＲａＤ
＝－ ＩＨＲ
ｌｇＤＲａＩＨＲ，ＩＨＲ＾()()[]－ ＩＨＲ＾ｌｇ１－ＤＲａＩＨＲ＾，ＩＨＲ
()()[]。（７）相应地，生成网络的对抗损失函数可以表示为：ＬＲａＧ
＝－ ＩＨＲ
ｌｇ１－ＤＲａＩＨＲ，
ＩＨＲ＾()()[]－ ＩＨＲ
＾ｌｇＤＲａＩＨＲ＾，
ＩＨＲ
()()[]。
（８）
改进后的判别网络能够指导生成网络恢复更详
细的纹理细节。１．４ 损失函数
boot是什么意思
损失函数用于衡量网络重建图像与原始图像的差异，
ＣＲ ＥＳＲＧＡＮ网络通过迭代训练降低重建图像ＩＨＲ＾与原始图像ＩＨＲ
之间的差异，通过最小化损失函数以获得最优解。为了进一步提高书画文物图像重建结果的视觉质量，本文使用基于视觉机制的损
失函数，包含３个部分：
感知损失、内容损失和对抗损失。ＣＲ ＥＳＲＧＡＮ网络的损失函数为：
ＬＧ
＝λＬＲａ
Ｇ
＋ηＬ１＋Ｌ
ｐｅｒｃｅｐ
，（９）式中，Ｌ１
为评估重建图像与真实高分辨率图像之间的１范式距离的内容损失；λ和η为平衡不同损失项的系数；感知损失Ｌｐｅｒｃｅｐ
是由Ｗａｎｇ等在ＥＳＲＧＡＮ模型中提出的，利用ＶＧＧ［２２
］激活层之前的特征计算感知损失，克服了激活后的特征更稀疏的缺点，同时使重建后的图像亮度更接近原始高分辨率图像：
Ｌｐｅｒｃｅｐ＝ＶＧＧ１９５－４ＩＨＲ()－ＶＧＧ１９５－
４ＩＨＲ
＾()１
，（１０）
式中，
i could be the oneＶＧＧ１９５＿４
表示１９层ＶＧＧ网络在第５个最大池化层之前的第４个卷积获得的特征。
２
实验与结果分析
２．１
实验数据集
为了更具针对性地训练模型，本文用到的书画文物图像数据集全部来自各大博物馆官方网站馆藏
的书画文物数字图像。数据集总共５２６０张，
包含了山水、花草、动物、人物、书法和宫室等主题，其中书画材料包含了纸本和绢本等。由于每张图片均来自各大博物馆网站，因此数据集的分辨率并不一致，但平均每张分辨率在２Ｋ左右。本文按照６０％作为训练集、２０％作为验证集、２０％作为测试集的方式将它们随机划分。２．２ 实验环境
本文实验所用到的硬件设备为Ｉｎｔｅｌ
premi
Ｘｅｏｎ
工程与应用徭役
