99gan

深度⽹络图像⼤⼩不⼀致_论⽂解读：⽤于婴⼉MR图像重建的

深度⽣成对抗⽹络（GAN）...

论⽂原⽂：DeepGenerativeAdversarialNetworksforThinctionInfantMRImageReconstruction

出版：IEEEAccessPP(99):1-1

搬运⽬的：选修课的report作业，有关⼿术导航的论⽂。

⽤于婴⼉MR图像重建的深度⽣成对抗⽹络

摘要

薄层磁共振（MR）图像具有⾼的空间分辨率，是脑结构研究和脑外科导航的理想医学图像。然⽽，与临床上⼴泛应⽤的厚切⽚MR图像相

⽐，由于成像成本的原因，薄切⽚MR图像的应⽤较少。婴⼉的薄层MR图像更为罕见，但对研究⼈类⼤脑发育具有重要价值。因此，我们

提出了⼀种从厚切⽚图像重建薄切⽚MR图像的⽅法。提出了⼀种基于⽣成性对抗⽹络（GANs）和卷积神经⽹络（CNN）的两级重建框

架，⽤于从轴向和⽮状⾯上的厚切⽚图像重建薄切⽚MR图像。

⾸次提出了⼀种3D-Y-Net-GAN来融合来⾃轴向和⽮状⾯的MR图像，并实现第⼀阶段的薄⽚重建。然后提出了3D-DenU-Net，然后是

⼀堆增强的残差块，以便在⽮状⾯上提供进⼀步的详细重新校准和结构校正。并与双三次插值、稀疏编码和3D-SRU-Net进⾏了⽐较。

交叉验证35例，独⽴测试114例，与其它3种⽅法相⽐，峰值信噪⽐（PSNR）平均提⾼23.5%，结构相似性（SSIM）平均提⾼90.5%，

归⼀化互信息（NMI）提⾼了21.5%。定量评估和视觉检测表明，我们提出的⽅法通过重建更真实的结果和更好的结构细节，优于那些⽅

法。

导⾔

薄⽚头部磁共振（MR）图像通常具有1mm的切⽚厚度和0的间距。⾼空间分辨率的薄层头颅MR图像是脑结构分析、体积测量和⼿术导航

的理想选择。然⽽，薄切⽚头部MR图像并不总是可⽤的。临床常规头颅MR图像通常是厚切⽚图像，切⽚厚度为4～6mm，间距为0.4mm

～1mm。较⾼的截⾯厚度导致较低的空间分辨率，这限制了厚截⾯MR图像在脑相关研究中的应⽤。

与成⼈的成像数据相⽐，婴⼉的脑部MR牙的成语 图像更具价值，因为这些图像提供了对出⽣后⼈类⼤脑发育的深刻了解。然⽽，婴⼉脑部磁共振图

像的获取更为困难，因为磁共振成像（更不⽤说薄⽚成像）很少在没有充分理由的婴⼉⾝上进⾏。这种情况启发我们发展了⼀种利⽤现有的

厚切⽚图像提供与薄切⽚MR图像相当的空间分辨率的⽅法，从⽽提出了⼀种薄切⽚MR图像重建⽅法。

这种重建⽅法也可以⽤来规范化图像层间距。在多中⼼、多设备的情况下，该⽅法可以将不同层间距的MR图像标准化为均匀的层间距，这

对于基于图像⼤数据的⼈脑发育统计等数据驱动的研究是⾮常有益的。

薄切⽚MR图像重建是⼀个多平⾯MR图像配准问题。例如，Mahmoudzadeh和Kashou将传统的插值算法应⽤于所有三个平⾯上的厚断⾯

MR图像，并在像素损失函数的指导下，将它们与迭代配准算法优化的⾃动图像配准（OAIR）相结合。该算法的重建结果在视觉上得到了改

善，但仅针对成⼈头部MR图像，对⼈脑结构相似性（SSIM）考虑有限。此外，薄⽚MR图像重建可以作为帧内插任务来处理。如⽂献[3]

所提出的，采⽤基于器官⼀致性规则的分解重建⽅法，以获得更⾼的层间分辨率。薄⽚图像重建也可以看作是⼀个超分辨率问题。Yang等

⼈提出了⼀种利⽤低分辨率图像块与⾼分辨率图像块之间相同的稀疏编码来重建⾼分辨率图像的可训练⽅法。近年来，随着深度学习技术的

发展，卷积神经⽹络（CNN）和⽣成性对抗⽹络（GANs）得到了迅速发展，尤其是在图像超分辨率领域。因此，如果将薄⽚MR图像重建

看作是⼀个⾮各向同性的超分辨率问题，深部神经⽹络强⼤的建模能⼒将使其受益匪浅。例如，Heinrich等⼈最近将3D-SRU-Net应⽤于⾮

各向同性三维电⼦显微镜的各向同性超分辨率。我们⼩组提出了⼀种基于残差⽹络的3D-SRGAN重建成⼈薄层MR图像的⽅法，但只考虑了

在轴平⾯上的重建。此外，CNNs和GANs被⼴泛应⽤于提⾼MR图像的分辨率。与传统的重建算法相⽐，DL算法不仅提⾼了重建性能，⽽

且将重建时间缩短到了⼏秒，在薄⽚MR图像重建中显⽰出优越的潜⼒。

本⽂的任务是将多平⾯特征融合与三维⾮各向同性超分辨率问题相结合。我们提出的框架受到了⼏种最先进的DL架构的启发。⾸先，由于

U-Net在⽣物医学分割领域的良好性能，它通过多尺度卷积和⾼尺度处理在特征融合问题上有着独特的优势。超分辨率⽣成对抗性神经⽹络

（SRGANs）从图像中提取低频和⾼频信息，在超分辨率领域具有显著的性能。此外，增强型深度残差⽹络（EDSR）是⼀种新的残差结

构，在NTIRE2017中获得了第⼀名，为恢复⾼分辨率图像提供了⼀种有效的⽅法。

受上述最新模型的启发，我们提出了⼀个两阶段重建框架，将轴向和⽮状⾯上的厚截⾯MR图像映射到它们的轴向薄截⾯对应图像。具体来

说，第⼀级是⼀个最⼩⼆乘GAN（LSGAN），它带有⼀个新提出的3D-Y-Net⽣成器，⽤于融合轴向和⽮状厚截⾯MR图像并将其映射到薄

截⾯图像空间。第⼆阶段是3D-DenU-Net和增强残差模块的级联连接，旨在通过进⼀步的细节增强来增加统计指标和消除伪影。提出了

⼀种三维梯度校正Loss和⾃适应CharbonnierLoss（L1Loss的变体）来集中⽣成器的优化注意⼒和捕捉⾼频差分信息。然后，通过将重

建结果与地⾯真实情况进⾏⽐较，对所提出的两阶段框架的性能进⾏了评估，结果表明，所提出的⽅法⽐三种具有代表性的⽅法（包括双三

次插值（bicubicinterpolation）、稀疏表⽰和3D-SRU-Net）更有效。我们还进⾏了两个实验来进⼀步验证多平⾯图像融合的贡献和我们

提出的综合损失函数。最后，对论⽂进⾏总结。

提出的⽅法

概述

在图像超分辨率领域，CNNs的性能优于许多传统算法。通过分层空间卷积和可选⾮线性，CNNs可以从图像中提取的低层和⾼层特征中学

习先验知识，并通过分步卷积和亚像素卷积等上采样操作恢复超分辨率图像。

最近，随着越来越多的最先进的CNN模型，例如EDSR、SRCNN和VDSR，GANs正逐渐与这些流⾏的CNN模型集成，以保存⾼频信息。

在鉴别器的监督下，驱动⽣成器使⽣成的数据与真实数据之间的分布相似度最⼤化，从⽽⽣成更真实的结果。然⽽，最近提出的超分辨率模

型主要是通过相同的因⼦来提⾼⼆维图像的⼆维尺度。即使将多个模型扩展到处理三维图像，多个平⾯上的低分辨率图像在单个框架中也⼏

乎不起协同作⽤。在这项研究中，我们提出了⼀个基于轴向和⽮状厚切⽚MR图像的两阶段重建框架，以重建相应的轴向薄切⽚MR图像，

其上尺度因⼦为8，如图1图1所⽰。在我们的框架中，我们提出的3D-Y-Net-GAN和3D-DenU-Net将多层厚切⽚MR图像完全融合，以协同

恢复薄切⽚图像。在接下来的章节中，我们将详细介绍拟议的两阶段重建框架和拟议的综合损失函数。为了更好地演⽰该任务，在图2图2中⽰

出了厚截⾯和薄截⾯MR图像的相对空间位置。

图1提出了⼀种两阶段的薄层MR图像重建框架。第⼀阶段是3D-Y-Net-GAN，第⼆阶段是3D-DenU-Net。TPMs代表组织概率图，将

在后⾯的章节中讨论

图2（a）15⽚标准化的轴向厚切⽚MR图像，（b）120⽚标准化的轴向薄切⽚MR图像，（c）120⽚标准化的⽮状厚切⽚MR图像。x、

y和z表⽰我们⽤来描述体积的坐标系中的三个轴。L、W和H分别表⽰MR图像沿x、y和z轴的图像⼤⼩。黄线和蓝线说明了它们的相对空间

位置。px是pixel的缩写

⽹络结构

在这⼀部分中，我们将介绍我们提出的两阶段重建框架。第⼀阶段是3D-Y-Net-GAN，由3D-Y-Net⽣成器和条件鉴别器组成，后者产⽣⽤

于随后的细节校正的主要薄⽚MR图像。第⼆阶段是⼀个3D-DenU-Net，然后是许多增强残差模块，⽤于最终的细节重新校准。

输⼊为轴向厚断⾯MR图像，尺⼨为LWH；⽮状厚断⾯MR图像，尺⼨为LWrH，r表⽰为沿z轴的上尺度因⼦。输出为薄⽚MR图

像，尺⼨为LWrH。请注意，L、W和H分别表⽰沿x、y和z轴的空间⼤⼩。

3D-Y-NET-GAN

作为整个框架的第⼀阶段，提出的3D-Y-Net-GAN将和作为输⼊，以r作为放⼤因⼦重建薄⽚MR图像。该⽣成器由三个部分组成：1）特征

提取（featureextraction,FE），2）特征融合（featurefusion,FF），3）重建（reconstruction）。⽣成器的详细⽹络结构如图图

3（a）3（a）所⽰。在我们的例⼦中，r设为8，并且我们采⽤基于patch的训练策略来降低计算成本。

具体来说，在第⼀阶段，的patches⼤⼩为323215，和的patches⼤⼩为3232120。注意，为了进⾏推断，使⽤全尺⼨MR图

像作为输⼊，⽽不是图像块patch。

特征提取部分

对于特征提取部分，采⽤三维卷积层从输⼊图像中提取特征，采⽤不平衡步长为[1,2,1]或[2,1,1]的maxpooling层在不同层次上⽣成不同

⼤⼩的特征图。值得注意的是女人眉毛 ，maxpooling层可以忽略某些微⼩的结构前列腺spa 差异，从⽽在⼀定程度上减轻配准后不⼀致所带来的负⾯影响。

阐明⼀下，三维卷积层是Convolution+BatchNormalization+Swish。具体来说，Swish是⼀种新的激活函数，它克服了ReLU引起的

死亡神经元（dead-neuron）问题。在我们的框架中，我们将Swish中不可处理的参数设置为1。轴特征提取分⽀的输出是三个尺度的特征

映射：FA1（LWH）、FA2（LW/2H）和FA3（L/2W/2H）。⽮状特征提取分⽀⼀般与轴状特征提取分⽀具有相同的结

构，产⽣相似的输出FS1（LWH）、FS2（LW/2H）和FS3（L/2W/2H）。

然⽽，考虑到和之间的⼤⼩差异，在输⼊时加了具有[1，1，2]步长的3个卷积层组成的格外预处理模块。

特征融合部分

特征融合部分是特征提取部分的拓扑反演。在每个层次上，特征融合部分通过亚像素卷积向上采样多尺度特征映射。具体地说，亚像素卷积

是⼀种正常卷积，然后是像素卷积，这是转置卷积的有效替代。特征提取和特征融合部分在三个层次上连接的⽅法是受U-Net结构启发⽽设

计的，它充分融合了多尺度特征，保证了结构的对齐，避免了梯度消失问题。

重建部分

重建部分的详细⽹络结构如图3（b）图3（b）所⽰。这⼀部分是专门为8的⼤放⼤系数⽽设计的。我们采⽤多路径提升尺度策略来减轻这类伪影，

⽽不是3个提升尺度因⼦为2的提升采样层的顺序连接，这可能会由于缺乏⾜够的信息转发或特征重⽤⽽拉伸图像并产⽣严重的伪影。具体

地说，路径2-4和路径1-4的输出串联为路径4-8的输⼊；路径4-8和路径2-8的输出串联为最终卷积的输⼊。我们使⽤来表⽰重建分⽀的输

出，这也是3D-Y-Net⽣成器的最终输出。

鉴别器

考虑到采⽤⽆监督的GAN模型来解决有监督回归问题，由于我们的⽣成器没有从随机噪声中抽取先验向量，因此，对真实样本给出⾼分的原

始鉴别器在理论上不适⽤于这个有监督回归问题。

我们的鉴别器被设计为条件结构来作为替代。具体地说，鉴别器可以识别⽣成器的输⼊，使得它能够将从厚截⾯图像到薄截⾯图像的重建映

射分类为“真实”或“假”。详细的⽹络结构如图4图4所⽰。该结构以、和为假输⼊，、和（groundtruth图像，标定好的真实数据）为真输

⼊，输出⼀个分数张量，⽤于以后损失函数的计算。

图3（a）给出了3D-Y-Net的⽹络结构，如（32,32,15,64）表⽰空间⼤⼩为323215的64通道特征图，如k3s[1,2,1]表⽰空间⼤⼩

为333的卷积核，步长为[1,2,1]。除⾮指定，否则轴分⽀和⽮状分⽀之间的内核⼤⼩、跨距和特征映射形状是相同的，因此⼤多数参

数仅显⽰在任⼀分⽀中。Dropout0.3表⽰失活率为0.3的滴落操作。红⾊框架代表训练patches；

（b）展⽰了重建部分的结构。路径表⽰放⼤过程，如路径1-4表⽰将尺⼨为LWH的图像放⼤到尺⼨为LW4H的图像，两个箭头的

交点表⽰卷积前的信道级联。

图4条件鉴别器的⽹络结构。请注意，LeakyReLU负的部分斜率设置为0.2。是真样本，是假样本，和是⽣成器的输⼊。k表⽰内核⼤⼩，f

表⽰过滤器的数量。所有的失活率都设为0.3。

3D-DENSEU-NET

作为整个框架的第⼆阶段，提出了3D-DenU-Net，并在其后叠加2个增强残差模块进⾏细节再校准，其⽹络结构如图5图5所⽰。细节再校

准的关键在于信息的重⽤。为了重⽤轴厚截⾯图像，我们只需根据轴厚截⾯图像对应的空间位置将插⼊到中，即。通过这种⽅法，可以⽅便

地利⽤轴向厚断⾯图像对轴向图像进⾏校正。重⽤⽮状⾯厚截⾯图像时，不应⽤切⽚插⼊。主要原因是我们想重⽤所有的切⽚。但如果同时

使⽤和插⼊的⽮状切⽚作为第⼆级⽹络的输⼊，则在3D-DenU-Net中会引⼊更多的⽮状切⽚信息，从⽽降低轴⾯图像的质量。基于上述

考虑，我们将、和设置为3D-DenU-Net的输⼊，并让表⽰最终输出的薄⽚MR图像。值得注意的是，我们采⽤的密集架构允许将先前卷

积层的输出传递到⼏个卷积层，根据[21]，[25]，这些卷积层可以充分利⽤low-level和high-level特征。

图5第⼆阶段的⽹络结构。（a）是3D-DenU-Net；（b）是增强残差模块。红⾊框架表⽰训练patches。0.5表⽰值衰减系数为0.5

此外，为了防⽌顶层和底层跳接造成的模糊和结构失真，我们在通道连接之前应⽤值衰减来平衡不同级别的特征映射。此外，尾部增强的残

差模块也被设计⽤于类似的考虑，因为通过顶层跳跃连接的浅层特征可能会损坏最终输出。如果没有传统的batchnormalization层，增强

的残差模块也是⾸选的，因为它们减少了GPURAM的使⽤，从⽽在训练阶段允许更⼤的batchsize。

考虑到有限的GPU容量，收敛速度和感受野之间存在⼀个权衡。具体地说，相对较⼤的斑块⼤⼩导致更⼤的感受野，因此卷积核可以看到更

多有⽤的信息。但它也降低了我们可以使⽤的最⼤batchsize，这可能会损害收敛速度，特别是在批处理⼤⼩已经很⼩的情况下。在超参数

搜索之后，我们基于484848⼤⼩的随机抽样块训练3D-DenU-Net，在收敛和感受野之间取得平衡。

值得注意的是，3D-DenU-Net和3D-Y-Net-GAN是分开训练的，⽽不是端到端的。有两个主要原因可以解释这⼀点。⾸先，单独的训练

可以保证3D-Y-Net-GAN的初始重建功能，并且可以分离两个阶段的功能。其次，如果使⽤可接受的batchsize，两个三维DL模型的端到

端训练⽬前在我们的GPU资源上是不可⾏的。

损失函数

为了训练3D-Y-Net-GAN从和到的映射，我们需要搜索⽹络参数的集合，得到最⼩化⽣成器损耗函数的最优参数，如2.2.1所述，其中G为

⽣成器，为groundtruth图像。

为了找到⼀个损失函数来评估⽣成的图像和groundtruth图像之间的差异，我们设计了⼀个损失函数，它由⾃适应Charbonnier损失、3D

梯度校正损失、对抗损失和L2权重正则化项组成：

式中，1、2和3表⽰各⾃项的权重。以下各段将进⼀步讨论上述四个组成部分。考虑到第⼆阶段的3D-DenU-Net不是基于对抗学

习的，我们使⽤与3D-Y-Net-GAN相同的损失函数来训练它，除了将2设置为0。

⾃适应Charbonnier损失

在有监督回归问题中，L1和L2范数得到了⼴泛的应⽤，因为像素级的约束对于保证基本的SSIM（结构相似性）是⾮常重要的。然⽽，L2

范数往往导致结果过于平滑，L1范数不加区别地惩罚预测偏离groundtruth的⾏为。在⼀项研究中，Charbonnier损弗怎么组词 失（L1范数的可微变

体）⽐L1和L2范数表现出更好的性能和更⾼的鲁棒性。在另⼀项研究中，引⼊了三次加权均⽅误差（MSE）损失，以强调“困难”区域的

性能，这些区域表⽰⽣成图像和groundtruth图像之间像素级差异相对较⼤的区域。然⽽，通过双三次插值得到的groundtruth图像和上

采样图像之间的差异并不总是作为训练过程中实际困难区域的⼀个好指标，⽽且在⾯对较⼤的放⼤系数时更糟。因此，我们建议使⽤由当前

⽣成的图像和groundtruth图像之间的差异计算的动态系数来使Charbonnier损失变得更具有鲁棒性：

其中，是⼀个⼩值，设置为10-6；（）在输⼊为张量时对其中的元素进⾏平⽅，max（）函数计算张量的全局最⼤元素，输出为标

量。

3D梯度校正损失

Charbonnier损失仅仅解决了像素级的差异，这可能导致对⼆阶差分信息的关注不⾜。在这种情况下，我们采⽤3D梯度校正损失来明确地

在沿x、y和z轴的相邻像素之间施加⼆阶约束，这可以帮助我们的模型⽣成更清晰的边缘：

对抗损失

为了使⽣成的图像更逼真，我们使⽤条件鉴别器来监督⽣成器的学习过程。考虑到稳健性和执⾏效率，我们使⽤LSGAN损失作为对抗性损

失。对于条件鉴别器，其损失函数定义如下：

其中D表⽰鉴别器，E表⽰数学期望，实际计算输出张量的平均值。为了说明这⼀点，鉴别器试图使基本真值的得分接近1，⽽假输⼊的得分

接近0。

⽣成器试图通过增加假样本的分数来愚弄条件鉴别器。因此，⽣成器的对抗损失如下所⽰：

值得注意的是，在训练GANs时，⽣成器和鉴别器之间的平衡是⾄关重要的，这意味着我们需要在对抗损失和Charbonnier损失之间取得平

衡。因此，我们认为这种对抗损失是⽣成器损失函数中的⼀个辅助项，并为其权重2设置⼀个⼩值。实验结果部分将进⼀步讨论1、2

和3的超参数设置。

L2权重正则化损失

理论上，具有较⼩范数的参数导致较低的模型复杂度，这表明遇到过拟合问题的可能性降低。因此，在本研究中，我们采⽤L2权重正则化

损失来缓解过拟合问题：

其中表⽰⽣成器的所有权重核，⽽表⽰L2范数。

实验结果

为了证明多平⾯MR图像融合的有效性，我们对3例患者进⾏了消融实验（控制变量）：

1）我们的完整框架，以轴向和⽮状图像为输⼊（我们的完整框架），

2）仅以轴向图像为输⼊的⽅法的部分版本（我们的部分轴向）

3）我们的⽅法的部分版本，只有⽮状图像作为输⼊（我们的部分⽮状）。

具体来说，对于我们的部分轴和部分⽮状⾯，我们修改3D-Y-Net⽣成器，使其具有两个特征提取或特征融合分⽀，并在第⼆阶段分别丢弃

输⼊或。在上述⽹络修改之后，我们有两个部分版本的框架，这两个版本仅在⼀个平⾯上利⽤厚截⾯MR图像。

为了验证我们提出的综合损失函数，我们在四个病例中进⾏了另⼀个消融实验：

1）L1norm+LGC+LAD+LWR，

2）LSC+LGC+LWR，

3）LSC+LAD+LWR，

4）LSC+LGC+LAD+LWR。

为了评估我们提出的重建⽅法，我们使⽤了三种具有代表性的⽅法和我们提出的第⼀阶段⽹络进⾏⽐较：1）传统的双三次插值，2）稀疏

表⽰（SR），3）3D-SRU-Net，以及我们提出的第⼀阶段3D-Y-Net-GAN。下⾯将详细介绍每种⽐较⽅法。

传统的双三次插值是⼀种不可处理的算法，它通过相邻的16个像素来预测像素。稀疏表⽰（SR）是⼀种可训练的⽅法，它为低分辨率图像

的每个patch寻找⼀个SR，然后使⽤此表⽰的系数⽣成其⾼分辨率对应项。具体地说，我们基于⽮状⾯上的⼆维切⽚来训练耦合字典。如引

⾔所述，3D-SRU-Net被提出⽤于⾮各向同性三维电⼦显微镜的各向同性超分辨率重建。在[5]中，当训练原始U-Net的这种变体以从模糊

的对等体预测⾼分辨率图像时，低分辨率和⾼分辨率图像被联合利⽤。在我们的论⽂中，我们增加了它的⽹络深度，并在它的⼊⼝添加了3

个卷积层，其跨距为[2,1,1]，类似于我们的第⼆阶段框架，这样它的上尺度因⼦被扩展到8，并且可以接受与我们提出的第⼀阶段⽹络相同

的输⼊。我们还展⽰了我们提出的第⼀级⽹络3D-Y-Net-GAN的重建结果，以验证第⼆级⽹络的有效性。

对于定量评价，我们采⽤峰值信噪⽐（PSNR）、结构相似性（SSIM）和归⼀化互信息（NMI）等指标进⾏图像质量评价。请注意，我们

剪裁了超出有效动态范围的像素[-1,1]，并将⽣成的MR图像和groundtruth图像投射到8bit灰度。PSNR定义如下：

其中，MAX1表⽰最⼤像素值，在本例中为255；r表⽰放⼤系数，在本例中为8。L、W和H表⽰⽣成的MR图像的空间⼤⼩，在这种情况

下，分别为144、184和120。SSIM通过计算两幅图像的互相关度来测量两幅图像之间的结构相似性，其定义如下：

其中，a和b代表两幅图像的各⾃平均值；a2和b2代表各⾃的⽅差；ab代表两幅图像的协⽅差；c1=（k1L），c2=（k2L）

是两个防⽌分母为0的常数，其中k1和k2通常分别设置为0.01和0.03；L表⽰像素值的动态范围，在本例中设置为255。NMI测量两个变

量之间的相互依赖性，定义如下：

其中H（x）是变量x的熵，H（x，y）是X和Y的联合熵，p（xi）是xi的边缘概率分布函数，p（xi，yi）是xi和yi的联合概率分布函数。较

⾼的PSNR、SSIM和NMI意味着⽣成的MR图像更接近groundtruth图像。

数据预处理

我们验证了我们的两阶段框架在婴⼉头部薄层MR图像重建中的应⽤。本⽂收集了上海复旦⼤学⼉童医院154例2～5岁婴幼⼉的厚、薄切⽚

MR图像。对于每个婴⼉，我们收集了轴向厚切⽚、⽮状厚切⽚和轴向薄切⽚的磁共振图像，具体成像参数见表1表1。我们随机选择40个样本40个样本

作为交叉验证数据集作为交叉验证数据集，另外65个样本作为独⽴测试数据集165个样本作为独⽴测试数据集1，其余49个样本英语短篇小说 作为独⽴测试数据集249个样本作为独⽴测试数据集2。注意，两个独⽴测试集的收集时收集时

间间隔为半年间间隔为半年。我们将空间标准化、灰度标准化和直⽅图匹配应⽤于原始MR图像数据的预处理。在训练阶段，我们使⽤预处理后的厚截⾯

图像作为模型的输⼊，并使⽤预处理后的薄截⾯图像作为groundtruth图像。

表1我们数据集的成像参数

考虑到不同的成像参数（如视野）和不同强度的薄切⽚和厚切⽚MR图像，我们观察到原始图像域MR数据的空间错位和强度不平衡，对于

这种情况，DICOM格式的原始MR图像不能直接⽤于我们的实验。因此，我们对所有的原始MR图像进⾏如下预处理。对于配准，我们使⽤

MATLAB⼯具SPM12对所有MR图像应⽤统⼀的空间标准化，以减轻薄截⾯和厚截⾯MR图像之间的空间偏差。我们准确地将MR图像从医

学数字成像和通信（DICOM）格式转换为神经成像信息技术倡议（NIfTI）格式。其次，我们分割婴⼉⼤脑图谱，⽣成完整版本的组织概率

图（TPMs），其中包含图像数据中各种组织的概率图，包括灰质（GM）、⽩质（WM）、脑脊液（CSF）、颅⾻、头⽪和airmask。第

三，SPM12估计⾮线性变形场，使⽣成的胎压监测系统与个⼈的MR图像最佳对齐。然后，根据其⾃⾝的估计变形场对MR图像进⾏扭曲。

最后得到了尺⼨为14418415的、尺⼨为144184120的和。为了详细配置配准，我们将薄⽚图像的体素⼤⼩设置为111

mm，将轴厚截⾯图像的体素⼤⼩设置为118mm，将⽮状厚截⾯图像的体素⼤⼩设置为111mm。此外，我们使⽤ICBM亚洲

⼤脑模板进⾏精确的正则化，并采⽤适当的边界框，使得配准的磁共振图像具有如图2图2所⽰的精确的空间⼤⼩。其他配置保持默认。配准

后，由于不同的空间位置和头部形状，可能的偏差最⼩化。注意，⽮状⾯厚断⾯MR图像的视场⽐薄断⾯图像的视场⼩，因此的每侧都有未

覆盖的头部区域，如图2（c）图2（c）所⽰。为了避免的结构不完整性，我们在中对相应的区域进⾏了上采样，并简单地使⽤它们来填充中的未覆

盖区域。由于SPM12不能保证所有样本都能成功配准，所以我们在交叉验证数据集中发现了5个配准不良的样本，并将其排除在外。因

此，35个样本构成了所有实验的实际交叉验证数据集。

此外，考虑到已注册的MR图像具有16位灰度，并且在不同的受试者之间具有不同的强度，我们使⽤简单的线性变换将所有MR图像的强度

标准化为[-1,1]。然后，我们将直⽅图匹配算法应⽤于所有以固定样本为参考的MR图像，以消除直⽅图不平衡。

为了扩⼤我们的训练数据集并缓解数据驱动的DL模型的过拟合问题，我们采⽤了数据增强的⽅法，对我们的训练数据集应⽤径向变换和镜

像反射。

实验装置（参数设置）

我们在交叉验证数据集上采⽤5倍交叉验证来评估我们的框架。对于s折交叉验证，我们将35个样本的交叉验证数据集随机分成2东阁大学士 部分，其

中7个样本作为验证数据，另28个样本作为训练数据。对于数据增强，我们将径向变换和镜像反射应⽤于训练数据，使其在第⼀阶段扩⼤到

336个样本，在第⼆阶段扩⼤到56个样本。所有的验证过程都应⽤于5次迭代。为了进⼀步验证我们提出的模型的泛化性，我们选择了⼀个

交叉验证性能最好的模型，并在65个样本的独⽴测试数据集1和49个样本的独⽴测试数据集2上对其进⾏了评估，其收集时间间隔为半年。

对于3D-Y-Net-GAN，我们随机抽取每个体积的12个patches，⼤⼩为323215（⽤于）和3232120（⽤于和）。mini-batch

size和epoch分别设置为16和200。对于⽣成器，我们使⽤动量参数1=0.9的Adam优化器，并采⽤初始学习率为510-4、衰减步长

为252、衰减速率为0.989进⾏逐步调整。我们使⽤相同的优化器和学习率作为鉴别器。我们⽤⼀个He标准初始化器初始化⽣成器和鉴别

器。我们将LG中的1、2和3分别设置为0.2、0.02和0.1。

对于3D-DenU-Net，我们随机抽取每卷80个⼤⼩为484848的patches。mini-batchsize和epoch分别设置为12和300。我们使

⽤1=0.9的Adam优化器，并采⽤学习率初始值为510-4、衰减步长为373、衰减率为0.989的逐步调整。我们⽤He标准初始化器初

始化它，并在其损失函数中将1和3分别设置为1和0.001。注意，不像训练，推断不是基于patch的。相反，它是基于整个MR图像

的。因此，我们的⽅法不需要特殊的后处理。

对于稀疏编码⽅法（SR），我们为耦合字典训练设置适当的参数。具体地，我们将字典⼤⼩设置为512，patch数设置为100000，patch

⼤⼩设置为1313，稀疏正则化设置为0.15，重叠设置为12。值得注意的是，对于双三次插值和SR⽅法，由于其局限性，我们仅使⽤轴

向厚断⾯MR图像。

对于3D-SRU-Net，在保持良好可⽐性的同时，选择适当的超参数以保证其最佳性能。具体地说，我们考虑了为323215，和为

3232120。我们将minibatchsize和epoch分别设置为32和300。我们采⽤参数为1=0.9、初始学习率为510-4的Adam优化

器和[5]中采⽤的双三次加权MSE损失函数。

SR⽅法在MATLAB2017a中实现，训练过程⼤约需要10⼩时，⽽重建过程⼤约需要每个样本2⼩时。所有的DL⽅法都高的英文怎么读 是⽤Python3.6.2

和TensorFlow1.3实现的，运⾏在NVIDIATitanXpGPU上，内存为12gb。我们的3D-白茅根的作用与功效 Y-Net-GAN训练耗时约20⼩时，3DDenU-

Net训练耗时约20⼩时，3DSRU-Net训练耗时约11⼩时。

输⼊数据的消融实验

在这⼀部分中，我们设计了⼀个实验来演⽰不同输⼊数据的影响。三例的重建结果如图6图6所⽰。与单平⾯厚断⾯图像相⽐，基于轴、⽮⾯图

像的重建薄层MR图像具有更多的结构细节和更少的失真。这是因为多平⾯厚截⾯MR图像可以融合，从⽽有助于协同重建任务。其定量评

价总结见表2表2，说明多平⾯MR图像融合重建⽅法可以⽣成与groundtruth图像相似性较⾼的薄⽚图像。

表2不同输⼊数据（PSNR、SSIM和NMI）的薄层MR图像重建⽅法的定量评价

图6可视化⽐较以显⽰不同输⼊数据的贡献

损失函数的消融实验（控制变量）

在这⼀部分中，为了验证每⼀项在我们提出的综合损失函数中的贡献，我们设置了三个对⽐实验来证明⾃适应Charbonnier损失、梯度修正

损失和对抗损失的有效性。注意，这个消融实验是基于我们提出的3D-Y-Net-GAN，这⾥我们不进⾏5倍交叉验证。其重建结果如图7图7所

⽰。从可视化⽐较中可以看出，与⾃适应Charbonnier损失相⽐，L1范数会产⽣模糊图像。与我们提出的损失函数相⽐，基于⽆梯度校正

损失的损失函数的结果显⽰出更少的尖锐边缘。与我们提出的损失函数相⽐，没有对⼿损失的损失函数⽣成的图像不太真实。表3表3所⽰的定

量评估进⼀步验证了我们提出的损失函数的贡献。

表3不同损失函数（PSNR、SSIM和NMI）对薄层MR图像重建⽅法的定量评价

图7通过可视化⽐较，说明了本⽂提出的综合损失函数的有效性

与其他⽅法的⽐较

在这⼀部分中，我们设计了⼀个对⽐实验，通过与现有的三种⽅法（传统的双三次插值、稀疏表⽰和3D-SRU-Net）的⽐较来评估我们提出

的⽅法。此外，我们还展⽰了第⼀级3D-Y-Net-GAN的结果，以验证第⼆级⽹络的有效性。图8图8显⽰了采样间隔中⼼的特定切⽚的重建结

果。与其他三种⽅法相⽐，我们提出的重建框架⽣成了最真实的MR图像，更接近于图8图8最右边的groundtruth图像。

图8四种重建⽅法的视觉⽐较。Colorbars显⽰了残差图像的强度范围。第⼀、第四、第七⾏分别使⽤四种不同的⽅法来说明重建的薄⽚

MR图像的轴向、⽮状和冠状视图。第⼆、第五和第⼋⾏显⽰了局部放⼤视图。第三、第六和第九⾏展⽰了误差图

传统的双三次插值⽅法重建结果模糊，存在严重的细节失真和伪影，部分原因是其接收范围有限，结构不可处理，缺少⽮状⾯信息。

稀疏表⽰⽅法（SR）产⽣的结果⽐双三次插值更平滑，具有相对较好的组织⼀致性，但由于其2D感受野和有限的建模能⼒，在⽮状⾯和冠

状⾯仍然输爱岗敬业 出较差的结果。

虽然3D-SRU-Net重建的薄⽚MR图像伪影较少，但其效果⽐我们提出的框架差。有两个因素可以解释它的糟糕表现。⾸先，由于其单级结

构，3D-SRU-Net不可避免地存在建模能⼒不⾜的问题，因此⽆法在特征融合、上采样和细节保存之间提供平衡，这导致⽮状⾯重建的性能

较差。其次，基于浅层特征的放⼤路径1-8通过顶层跳过连接。这种设计的潜在缺点是，波斯帝国 由于具有⼩的卷积核尺⼨和⾮常⼤的放⼤因⼦的微

⼩跨步卷积，⽽产⽣严重伪影的特征通过顶层连接直接传递到最后⼏层，这会损害重建结果。

在特写镜头中，我们注意到，我们的框架在第⼀阶段重建后重建了空间上更接近groundtruth图像，并在第⼆阶段细节重新校准后恢复了

更多的⽮状⾯和冠状⾯组织细节，这反映了我们提出的两阶段重建框架的有效性。

表4总结了总体实验结果，我们⽐较了上述指标的平均值、标准差和中值。我们在三个不同的数据集上展⽰了实验结果，以说明我们提出的

⽅法的可推⼴性和稳健性。

表4薄层MR图像重建⽅法的定量评价：PSNR、SSIM、NMI和MAE

在PSNR、SSIM、NMI和平均绝对误差（MAE）较⾼的情况下，我们的⽅法优于现有的⽅法。具体来说，与不可训练的双三次插值⽅法相

⽐，我们的⽅法可以从训练样本中学习以⽣成具有更好组织⼀致性的图像。与SR⽅法相⽐，我们的⽅法可以利⽤三维接收场和更⼤的建模

能⼒来恢复更真实的薄⽚图像。另外，注意SR⽅法在独⽴测试数据集2上的统计结果⽐在独⽴测试数据集1上的统计结果差，这表明我们的

模型在处理不同数据集时⽐SR⽅法具有更好的鲁棒性。与3D-SRU-Net相⽐，我们的整个框架能够更好地学习从厚切⽚MR图像到相应的薄

切⽚MR图像的映射，即分别处理特征融合、上采样和细节再校正，并且由于神经⽹络的建模能⼒有限，将为神经⽹络分配⼀个清晰的任

务。最终结果的改进进⼀步证明了我们提出的⽅法的优越性。注意，我们的模型不仅在交叉验证数据集上显⽰出更好的性能，⽽且在另外两

个测试数据集上也显⽰出更好的重建质量。另外，由于实验中测试数据样本的数量是我们使⽤的训练数据样本的4倍左右，我们提出的重建

框架具有良好的通⽤性和鲁棒性，可以应⽤于更⼤的数据库。

结论

我们提出了⼀个两阶段重建框架，从轴、⽮状⾯上的厚切⽚图像重建婴⼉头部的薄切⽚MR图像。我们提出的3D-Y-Net-GAN，在厚切⽚

MR图像的成对patches上进⾏训练，重建出初步的薄切⽚MR图像，⽤于后续研究。然后，基于第⼀阶段和原始厚截⾯图像的输出，我们提

出的3D-DenU-Net被训练为进⼀步的细节增强和性能改进。此外，我们还提出了⼀个由⾃适应Charbonnier损失、3D梯度校正损失、对

抗损失和L2权重正则化损失组成的综合损失函数，以实现更有效、更真实的重建。

在不同的输⼊数据下进⾏了两次消融实验，并给出了损失函数。可视化和定量评价表明，我们提出的多平⾯图像融合和综合损失函数有助于

提⾼重建的性能。在交叉验证数据集和两个独⽴测试数据集的基础上，对现有的三种⽅法进⾏了对⽐实验。定量评价结果表明，与传统的双

三次插值、稀疏表⽰和3D-SRU-Net相⽐，该⽅法能够重建出具有较⾼PSNR、SSIM和NMI的薄层MR图像。请注意，我们显⽰了平均绝对

误差，以证明我们的重建结果具有较低的平均残差，其中我们使⽤8位灰度进⾏评估。尽管我们的完整模型的MAE⽐独⽴测试数据集2上的

第⼀阶段⽹络的MAE差⼀点，但我们的完整模型仍然显⽰出总体上更好的重建细节，因为它的损失函数专注于惩罚离群像素预测，以⽣成

更真实的图像。此外，我们还展⽰了由上述四种⽅法⽣成的可视化结果，以凸显我们的⽅法与其他⽅法相⽐的性能优势。尽管我们提出的⽅

法的⽬标是从轴、⽮状⾯上的厚切⽚图像重建婴⼉头部的薄切⽚MR图像，但它可以很容易地扩展到其他应⽤场合，例如三平⾯重建或成⼈

头部MR图像重建。此外，这种重建⽅法还可以⽤于图像层间距的规范化，有利于基于图像⼤数据的数据驱动研究。

学到的东西和改进⽅法

这篇⽂章很复杂，介绍了两个阶段⽽实际实验的时候，⽤到了四个拼起来的模型：改进后的GAN、上采样的残差连接、改进的U-net和增强

残差卷积。⽽且这两个阶段不能同时训练和运⾏，是这个论⽂局限性之⼀。

但是值得借鉴的地⽅还有很多，⽐如对两个⽅向数据的特征融合操作，以及四个合在⼀起的⾃适应损失函数，都可以⽤在其他模型上。⽂章

也谈到，如果采取三平⾯的数据，也是可以运⽤的，但是这需要对模型进⾏进⼀步的完善。

另外，评价指标本⽂也采取了四个指标，PSNR、SSIM、NMI和MAE，但是MAE在本⽂与其他模型的效果对⽐上来看显然不是很好，⽂章

的解释是本⽂的模型更注重细节（因为损失函数惩罚离群像素）。

除此之外，可以对每种⽅法产⽣的结果进⼀步可视化，来凸显本⽂提出⽅法的优势。