第44卷第2期2021年2月
Vol.44Ao.2
Feb.2021计算机学报
CHINESE JOURNAL OF COMPUTERS
基于双通道R-FCN的图像篡改检测模型
田秀霞年李华强年张琴期周傲英，
年(上海电力大学计算机科学与技术学院上海200090)
期上网兰州供电公司互联网部信息通信安全实验室兰州730050)
厂上东师范大学数据科学与工程研究院上海200062)
卷上东师范大学软件学院上海市高可信计算重点实验室上海200062)
摘要随着大数据时代的到来和图像编辑软件的发展，恶意篡改图片的数量出现井喷式增长，为了确保图
像的真实性，众多学者基于深度学习和图像处理技术提出了多种图像篡改检测算法•然而，当前提出的绝大多数方法在面对大量图片的情况下，篡改检测速率较低且小面积篡改区域检测效果较差•为了有效解决这些问题，本文首次将基于区域的全卷积网络(Region-bad Fully Convolutional Networks,R-FCA)引入双通道篡改检测网络，通过彩色图像通道提取图像的表层特征，使用隐写分析通道挖掘图像内部的统计特征，并利用双线性池化层将两个通道的信息融合，构建了一种面向实际应用场景的图像篡改检测模型然中，利用R-FCH中位置敏感得分图提高图像篡改检测效率，使用双线性插值算法提高小面积篡改区域的检测率然过在国际主流的标准图冬至日是几月几日
像篡改数据集上进行实验，有效地验证了该模型的图像篡改检测速率相比当前最新模型提高2-期倍，检测精度提升1.年％到0.21%，本文提出的模型是-种更加高效而精准的图像篡改检测模型然
关键词图像篡改检测；深度学习；双通道网络；基于区域的全卷积网络；双线性插值
中图法分类号TP751；TP180DOI号年.11897/SP.2.1016.2021.00370
Dual-Channel R-FCN Model for Image Forgery Detection
TIAA XiuFia年LI Hua-Qiang年ZHANG Qin期ZHUR Ao-Ying7使
年(College of Computer Science and Technology,Shanghai UniuersiLy of ElecLric Power,Shanghai200090)
期2Rain Grid Lanzhou Powsr Supply Company,M-inisbry of InLemrL,In f orma C m and ComrnimicaLiod SecuriLy LaboraLory,Lanzhou730050) 7(College of DaLa Science anL Lngineeriny,East China Normal UniversiL,,Shanghai200062)
卷(Shanghvi Ke,LaboraLor,of ErusUworCo CompuLiny,LofCwam Engineeriny InsLiPC,East China Normol UniversiLo,Shanghvi200062)
Abstrace With the explosivt growtW of malicioue tampering imagee,many scholare havt propod multiplt imaer forgery detectiov algorithme bad on deep learnine md imaer processing technologiee.
AlthougO the algorithrns have achieveb goof results,mosh of them have strong limitations in practical applicatiog.A ordee to solve this problea,me propob e dual-ch火雅
annet forgery detectiog modet empowereb by Region-bab Full Convolution GW o W(R-FCN),which wm inspireb by the two-stream networO.The modet included two parts:RGB c超长悍马
hannef and steganalysie channef.
The design of duaf channef enablee the modet to ca_pture mora featuree in the imaoa nd oWain g bettee detectiog effect.First of all,the model utilizeb the propertiee of each channee to extract the image?s featuree.The RGB channel captureb the boundarct color,texture and other surface fea给领导的生日祝福
turee
of the image,a_nd analyzed the tamperino artifacte which were left by ima_ge forgery.Fteganalysie
收稿日期：2019-08-09；在线发布日期=2020-02-11.本课题得到国家自然科学基金上上项目深点项目)上1772期7当157期年、国网甘肃省电力公司电力科学研究院横向项目上2年275)资助.田秀霞检士检授检国计算机学会(CCF)会员检要研究领域为数字图像篡改检测、数据库安全、隐私保护(大数据和云计算)、安全机器学习、面向电力用户的安全计算.F-rnail：R X tian@S hiep.edr.然.李华强检士研究生检主研究方向为数字图像篡改检测、深度学习、目标检测•张琴检士检程师检主研究方向为信通安全、信息网络、通信技术•周傲英检士检授检士生导师检江学者特聘教授恶家杰出青年科学基金入选者恶国计算机学会大CF)会员检主研究领域为数据库、数据管理、数字化转型、教育科技RduTeR)和物流科技(LogTecO等数据驱动的应用等.
2期田秀霞等：基于双通道R-FCN的图像篡改检测模型371
channel ud the Spatial Rich Model(SRM)filter layer to extract the residual noi of the image, and analyzet the inconsistence between the rea(arec ant the tampering arec.Theo,the modeR uS the Region ProposaR NetworC(RPN)to obtain the correspondine Region of Interest(SOI) location information from ths feature maps?anU combineS ths position-nsitive RO)pooling operatione to get ths scorn mape.Fin征服自己
ally,ths modeR uS ths bilineae pooling layee to fuss ths information of the t
wo channels,ant procesR the relevet featuree to obtain the correspondine categorz informatiot and location informatiot,so ne to located the tampering aren.On the one hant,the propoR modeR ue the design of the position-nsitivr score mao O MFCN,which increae the numbee of shared computinR networe layere by changinR the Rdon of the RO) poolinR layer,ant improvee ths detection efficiency.On ths other hand,bilineae interpolation O med to adjustinR ths outpuh sizs of ths featurs mao in ths featurs extraction network,which alleviatee ths wean expression ability of model featuree caud by convolution operation in ths feature extraction process,and improvee the detection accuraco of the small tamperinR aren.Fince there wae not enougS da_ta_in the stodard datat to train the neurat networe,we pre-trained oue modei on the synthetic datat.We compared oue modet to four state-of-tSe-art modele on three benchmare(atats,NIST,CASIA2.0nd Columbir.The comparison modele were mainR divided into two categories:one牡^出七忆口川imaoe forger.detection aNorithm(CFA1)and three eeep lea秦始皇的母亲
rninR imaoc forgero detection algorithme(Tar-D,J-Conv-LSTM and RGB-Nf.We have conductee a_numbee of experimente to verify the performance of oue modeL The^xperimentai i^esults show that thestructure nd bilinear poolinR layer of the model improve the detection accurace.A ordee to explore the superioe performance of the model?evaluate the model with three evaluation indexes:AveraRS precision fAPf)Fl-score and Framee Nee Second (Fpsf.The evaluation resulte show that ths imaRS tampee detection rats of this
is 2.25 timee higher than ths currenO latesO wodel,and ths detection accurace is incread by).13%to
3.21%,verifyinR oue propod imye forgery detection modei is more eRicienO and accurate.
Keywords imye forgere detection；deep learnino；dual-channei uetworl；r egion-bad fulF convolution network；bilineae interpolation
1引言
随着多媒体、互联网和存储技术的快速发展擞字图像的传播与存储成本变得越来越低，它已经深入应用到人类的生活、工作等各个方面.然而，一系列图像处理和编辑软件的出现，让图像篡改的门槛大大降低，无需专业图像处理知识也能对图像进行编辑处理，这对图像的真实性、完整性构成了极大的威胁.2007年10月13日，陕西省林业厅公布了一系列“野生华南虎”照片，但专家与网友对照片的真实性和完整性提出了质疑.经调查发现，证实照片上的华南虎出自一张年画.这仅是众多图像伪造问题中的一个例子，如果图片伪造被大面积地滥用，将会给国内甚至全世界舆论的导向造成极大的负面影响―
图像篡改手段分为三种：复制移动、拼接和移除5复制移动是指在图像中复制部分区域，然后将该区域粘贴到图像中与复制区域无重叠的部分，实现图像的篡改；拼接是从一幅图像中复制部分区域，然
后将该区域粘贴到另一幅图像中；移除是对图像中的像素进行修改，实现目标区域的消除.图像篡改检测技术可分为主动篡改检测技术和被动篡改检测技术(盲检测)两大类.主动篡改检测技术主要以数字签名技术和数字水印技术为代表，需要在图像建立时主动对图像进行预处理，如对图像的哈希(Hash)串进行计算或在图像中嵌入特征信息，这些特征信息是具有特定意义的水印或图像等，检验时会对嵌入信息的完整性进行验证，从而判断图像是否发生过篡改；被动篡改检测技术则不需要事先为图像添加任何特征信息，仅凭借图像本身的统计信息或物理特性便可达到篡改检测目的7由于主动
372计算机学报2021年
篡改检测技术的使用具有很强的局限性，数字水印的抗攻击性也有待加强，所以被动篡改检测技术逐渐成为研究的热点.
目前，研究人员就被动篡改检测技术提出了多种算法，其代表性工作主要有文献Bianchi等人⑷提出了一种概率模型，来估计JPEG图像中不同区域的离散余弦变换(Discrete Cosine Transform, DCT)系数和量化因子，数而判断出每个DCT块被篡改的概率.当面对不同类型的篡改方式时，该模型的表现有好有坏，鲁棒性比较差.Rao等人旧率先将深度学习技术用于篡改检测中，模型使用空间富模型(Spatial Rich Models,SRM)作为预处理层，输出采用支持向量机(Support Vectoe Machine,SVM)系行二分类.但该模型只能判断图像是否发生过篡改，无法做到对篡改区域的定位，在应用中存在很大的局限性.
本文利用双通道网络提取丰富的图像特征，并引入MFCN归提高模型的效率，针对现有图像篡改检测速率低和小面积篡改区域检测精度的不足的问题，提出了一种基于双通道MFCN的图像篡改检测模型.
本文的创新点包括：
⑴使用MFCN旧对模型进行构建与优化. MFCN中移除了全连接层，只保留可学习的卷积层，这样可以进行端到端的训练，而且全卷积网络的设计提高了共享计算的网络层数，相比Fastee M-CNN[72，模型的效率得到大幅的提升；
⑴提出一种基于图像分辨率调整的小面积篡改区域检测技术.为了提高图像篡改检测中小面积篡改区域的检测精度，本文采用双线性插值法，对特征提取网络中每一个堆叠卷积层输出的特征图尺寸进行调整，缓解在特征提取过程中造成的目标缺失问题；
⑴相较于现有的图像篡改检测方法，本文方法在篡改图像中包含细微篡改痕迹时，可以更好地对篡改区域行行定位，检测效率的提升也使模型具有实用价值.
本文第2节对国内外在图像被动篡改领域的相关工作行行总结；第7节对本文用到的预备知识行行介绍；第4节给出本文模型结构，并对其行行详细地描述；第2节为实验的结果与对比分析；第6节总结全文并对未来的研究工作行行展望墨子的思想
.
2相关工作
图像被动篡改检测方法分为两类：基于图像统计信息的传统篡改检测算法和基于神经网络的深度学习篡改检测算法.传统图像篡改检测算法是根据图像的特性设计人工特征，通过计算图像残差、邻域像素的相关系数、方差、直方图等特征，检测数字图像是否以某种方式发生了篡改；深度学习篡改检测算法首先对网络的输入数据行行相关的预处理，随后使用卷积神经网络(Convolutional Neural Networks, CNN使对图像特征行行提取，最后行行篡改区域的定位与分类，实现端到端(end-Vend)的网络框架结构并以反向传播(bach propagatiov)的方式对网络参数行行更迭.传统篡改检测算法与深度学习篡改检测算法的框架对比如图1所示.
图1传统篡改检测算法框架⑴)与
深度学习篡改检测算法框架⑴)
2.1传统篡改检测算法
为了在图像中检测篡改区域，研究者们使用多种方法行行尝试，目前比较热门的传统图像篡改检测方法可以分为：基于像素的图像篡改检测方法、基于成像设备的图像篡改检测方法和基于组合器的图像篡改测算方法传
基于像素的特性在08年Mahdi等等人⑷基于内内信号及其导数包含特定可检测周期的特性，提出了一种能够找到重采样和和值痕迹的图像被动篡改检测方法，同时该方法在图像安全性和身份验证等领域都有着很强的应用价值.2018年Stamm等人年基于内在指纹的检测方法，通过全局图像和局部图像的对比度增强实现对图像的篡改检测，该方法可以很好地检测出经过对比度增强操作的篡改图像. 2014年Hashmi等人口年将加速鲁棒特征(Speeded Up Robust Features,SURF)变换和多种小波变换相结合来检测篡改图像，模一些算法不同，该算法是在整张图像上提取特征，而不是将图像划分为块区域提取特征传
基于成像设备的特性,2018年Hsu等人所使用相机响应函数(Camera Respon Function,CRC)实现图像篡改检测，使用局部平面辐照度点(Locally Planar Irradiance Points,LPIEs)的几何不变量对每
2期田秀霞等：基于双通道MCN的图像篡改检测模型727
个自动分割区域行行CRF估计，计算基于CMC的交叉拟合和局部图像特征并将其馈送到统计分类器，最后推断图像的真实性.由于单传感器数码相机是通过内部的色彩滤镜矩阵(Coloe Mltee Array, CFA)插值得到彩色图像，而每个相机的CFA结构与算法不相同，其输出图像相邻像素间的线性关系也不相同.2012年Ferraro等人年利用色彩滤镜矩阵模式对检测图像行行采样后的重新插值，并将重新插值的图像与原图像行行比较，获得估计误差，最后根据两类像素不同的估计误差对图像行行篡改测算传
大多数传统方法仅针对某种特定篡改方式的图像行行检测，而图像篡改的方式是多种多样的，于是有研究者提出基于组合器的图像篡改检测方法. 2014年Gaborint等人所提出了一种融合三个独立检测器的图像篡改检测方法，三个检测器分别为：基于光响应不均匀性(Photo Respon Con-Uniformity, PRNU)的检测器、基于块匹配的检测器和图像来源检测器，这种组合在一定程度上提高了篡改检测的精度.2012年Pi等人所提出了一种集合框架，该框架包含一个基于统计特征的检测器和一个复制移动方式的篡改检测器，最终通过阈值处理的方式检测图像的篡改区域.基于组合器的图像篡改检测方法虽然提高了检测的精度，但由于该方法集成了多种检测器，所马兰菊
以提升了模型的复杂度.
2.2深度学习篡改检测算法
基于数据驱动方式的深度学习方法在众多计算机视觉与图像处理任务上表现出优异的性能，因此很多
研究者也将深度学习应用到图像篡改检测中，比较热门的几个方向有：通过改进网络结构提高检测精度、基于成像设备的相关性设计网络模型和利用隐写分析的特性获得更好的检测效果.
通过优化网络结构可以获得更好的检测性能，2016年Bayar等人所提出了一种新的卷积层结构，来捕获图像篡改时图像中相邻像素关联性的变化，同时自适应地学习篡改特征，并最大程度地压缩图像内容对篡改检测的影响.2012年Bapp，等人「所2提出了一种高置信度的网络模型，该模型将卷积神经网络和长短期记忆网络(Lona Shor V erA Memory,LSTM)融合，通过捕捉篡改区域与非篡改区域的边界差异，实现图像篡改检测.
同时，深度学习方法也应用在基于成像设备的相关性上.2016年Baroffin等人2首次提出利用卷积神经网络实现基于相机源的图像篡改检测，该模型可以直接从获取的图片中学习表征每个相机的特征，模一步判断图像是否发生过篡改.2012年Bondi 等人所年利用卷积神经网络，对不同型号相机所拍摄图片上遗留的特征痕迹进行检测，根据不同相机遗留噪声的不一致性，实现篡改区域的定位.
近年来，研究者们使用隐写分析方法对检测框架进行完善，通过分析图像相邻像素的局部噪声特征，可以更好地比对篡改区域与非篡改区域的不一致性.2012年Cozzolino等人所年将卷积神经网络与SRM特征结合，实现图像篡改区域的定位；2年8年Zhou等人所年提出一种基于Faster MCNN架构的双流网络，该网络融合了RGB流与噪声流的特征，进-步提升了图像篡改的检测精度.
综上，现有的图像篡改检测方法仍存在以下问题：通)大多数传统方法由于特征设计的专一性，在图像的篡改方式未知时，算法的鲁棒性比较差;
⑴传统的基于组合器的图像篡改检测方法虽然提高了模型的鲁棒性，但整体框架过于繁琐，不够精简；⑴基于深度学习的篡改检测方法虽然在模型的鲁棒性和结构上都有了一定程度的优化，但与传统方法相比，检测的精度还需继续提升，尤其是面对小面积篡改区域的检测时；⑴深度学习方法在检测速度上有一定的优化空间.针对以上问题，本文从实际应用的角度出发，研究了高效率的图像篡改检测模型该并提高了小面积篡改区域的检测率．
3预备知识
3.1深度学习目标检测模型
目标检测可以通过对图像或视频的识别，将要检测的目标进行分类与定位，在视频监控、自动驾驶、人脸识别等多个领域都有应用.近几年，因为计算机运算能力的指数级增长，机器学习、深度学习等人工智能技术迎来了新的春天，研究者们纷纷将其应用至目标检测领域所年.
基于深度学习的目标检测网络架构包含两个部分，第一部分是由卷积神经网络组成的特征提取部分，可以从河北省开学时间
输入图像中提取不同类型、不同层次的特征，并输出特征图；第二部分是目标检测模型的主体部分，它会利用第一部分输出的特征图，对行相关操作后实现目标的分类与定位.
根据模型候选框生成方法的不同，可将目标检测模型分为两类：第一类模型将问题分为两个阶段，首先生成区域建议(Regio等1Proposal)候选框，然
374计算机学报202）年
后根据提取的图像特征对候选区域进行分类与位置回归，其代表为Fast R-CNN2、Faster MCNN1、MFCN[6]Mask R-CNN2等；第二类模型则省去了区域建议的步骤，直接生成物体的类别概率和位置坐标值，通过单次检测便可得到检测结果，典型模型有YOLO2、SSD2等.两种模型的性能优缺点对比如表1所示.考虑到MFCN对小目标的检测效果要优于第二类模型，而且它在第一类模型中有速度上的优势，本文便将OFCN用于图像篡改检测网络中.
表1模型优缺点对比
年份模型实时性优点缺点
所年Fast R-CNN6%否可以同时完成分类与定位典省存储空间候选框生成方法占用大部分时间
所年Fastea R-CNN61是提出RPN层生成候选框从现端到端训练测试t
提升了速度
模型较为复杂
所年Y0LL6所是网络简单典度较快准确度低但为标与多目标检测结果不好所年SSD[所、是网络简单本确率高对小目标检测结果不好
所年R-FCN6、是较Fastea R-CNN大幅提升速度从度也略微提升模型较为复杂
所年Mash R-CNN所所是实例分割效果好好检测精度更高模型复杂
3.2R-FCN目标检测模型
ResNet61为MFCN的主干网络，它的基本组成单位是残差学习模块，其结构如图2所示.残差学习模块不仅可以通过卷积层与非线性函数将原始输入映射到下一层，还允许原始的输入信息直接映射到后面的层，通过这种连接方式实现残差网络结构输入与输出的加叠，在减少计算量的同时，缓解了网络层数的增加造成的梯度消失现象.
输入
非线性函数
图2残差模块结构图
输出
MFCN6的网络结构，如图7所示.首先，使用ResNet网络对图像进行特征提取，并生成特征图.之后使用区域建议网络（Region Proposai Networp, RPN）生成区域候选框，并对每个候选框进行背景的筛选与微调考行分类操作时，会在区域建议网络的基础上，通过卷积在整幅图像上为每类物体生成厂以图3结构中沧=3）个位置敏感得分图，每个位置敏感得分图的通道数为C（代表C-1类的物体加
-个背景）.对于一个大小为ivXh的区域候选框，会
将其划分为=X h个块，则每个块的大小为wXh/k2，并对任意一个块加"R,j）执行位置敏感池
化操作，其中月犻）—1，池化公式如下所示：图.其、p2”从代+如实+y月0两图rcCi,}\&>= 2.J------------------------图-
（代通两犫图，直R
其中会R会0表示对应第C个类别块犫图本的池化响应会使表示块犫图，实所对应的位置敏感得分图，盲如月表示每个区域候选框左上角的坐标值会表示网络中所有可学习的参数.随后它嵌h 个块的池化响应广犮犻|0）进行均值池化，最后使用Softmax函数获得每个类别的概率.位置回归的流程与分类相同，但每个位置敏感得分图的通道数由C个变为4个，分别表示区域候选框的4个位置参数.
输入图片
I边界框微调
对亍
背景分类
他得分
分类得分
位置敏感区域池化
区域建议
网络
提取CNN特征特征图
图7R-FCN
网络结构
