unet输⼊图像滑块_图像分割U-NET
背景
Ｍask = Function(I)
1
1. 什么是图像分割问题呢？ 简单的来讲就是给⼀张图像，检测是⽤框出框出物体，⽽图像分割分出⼀个物体的准确轮廓。也这样考虑，给出⼀张图像 Ｉ，这个问题就是求⼀个函数，从I映射到Mask。⾄于怎么求这个函数有多种⽅法。我们可以看到这个图，左边是给出图像，可以看到⼈和摩托车，右边是分割结果。
墨玉貔貅2. 求这个函数有很多⽅法，但是第⼀次将深度学习结合起来的是这篇⽂章全卷积⽹络(FCN)，利⽤深度学习求这个函数。在此之前深度学习⼀般⽤在分类和检测问题上。由于⽤到CNN，所以最后提取的特征的尺度是变⼩的。和我们要求的函数不⼀样，我们要求的函数是输⼊多⼤，输出有多⼤。为了让CNN提取出来的尺度能到原图⼤⼩，FCN⽹络利⽤上采样和反卷积到原图像⼤⼩。然后做像素级的分类。可以看图⼆，输⼊原图，经过VGG16⽹络，得到特征map，然后将特征map上采样回去。再将预测结果和ground truth每个像素⼀⼀对应分类，做像素级别分类。也就是说将分割问题变成分类问题，⽽分类问题正好是深度学习的强项。如果只将特征map直接上采样或者反卷积，明显会丢失很多信息。
3. FCN采取解决⽅法是将pool4、pool3、和特征map融合起来，由于pool3、pool4、特征map⼤⼩尺⼨是不⼀样的，所以融合应该前上采样到同⼀尺⼨。这⾥的融合是拼接在⼀起，不是对应元素相加。
4. FCN是深度学习在图像分割的开⼭之作，FCN优点是实现端到端分割等，缺点是分割结果细节不够好，可以看到图四，FCN8s是上⾯讲的pool4、pool3和特征map融合，FCN16s是pool4和特征map融合，FCN32s是只有特征map，得出结果都是细节不够好，具体可以看⾃⾏车。由于⽹络中只有卷积没有全连接，所以这个⽹络⼜叫全卷积⽹络。屋子
Unet⽹络结构
公司三证很多分割⽹络都是基于FCNs做改进，包括Unet。Unet包括两部分，可以看右图，第⼀部分，特征提取，VGG类似。第⼆部分上采样部分。由于⽹络结构像U型，所以叫Unet⽹络。
特征提取部分，每经过⼀个池化层就⼀个尺度，包括原图尺度⼀共有5个尺度。
上采样部分，每上采样⼀次，就和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其crop。这⾥的融合也是拼接。东莞石龙金沙湾
个⼈认为改进FCN之处有：
多尺度
适合超⼤图像分割，适合医学图像分割金牛处女
Ｕnet——输⼊输出
医学图像是⼀般相当⼤，但是分割时候不可能将原图太⼩输⼊⽹络，所以必须切成⼀张⼀张的⼩patch，在切成⼩patch的时候，Unet由于⽹络结构原因适合有overlap的切图，可以看图，红框是要分割区域，但是在切图时要包含周围区域，overlap另⼀个重要原因是周围overlap部分可以为分割区域边缘部分提供⽂理等信息。可以看黄框的边缘，分割结果并没有受到切成⼩patch⽽造成分割情况不好。
３．Unet——反向传播
Unet反向传播过程，⼤家都知道卷积层和池化层都能反向传播，Unet上采样部分可以⽤上采样或反卷积，那反卷积和上采样可以怎么反向传播的呢？那什么是反卷积呢？先来讲下卷积的过程
Y = Matrix_1(Filter)* Matrix_2(Image)
1
Matrix_1和Matrix_2分别是将卷积核和图像转成矩阵函数。也就说给⼀个输⼊X，利⽤矩阵乘法能得到卷积后输出Y。
Ｙ=C*X
1
所以卷积可以分解成两个矩阵相乘。很显然，卷积反向传播就是C的转置相乘。举个例⼦：
玫瑰精油的使用方法Y=[1,2]*[X，x_1]T
1
Ｙ对x求导，dy/dx=[1,2]^T。清炒白菜
反卷积就是转置卷积，也是⼀种卷积，可以看到图７，这个就是转置卷积，由⼩尺⼨到⼤尺⼨的过程。也就是说反卷积也可以表⽰为两个矩阵乘积，很显然转置卷积的反向传播就是也是可进⾏的。所以说整体是Unet是可以反向传播的。
３．Unet——与其他结构⽐较之FPN
如何提高工作效率这是FPN检测⽹络，可以看到红框，如果将红框到过来可以发现，FPN部分结构和Unet相似之处。从⽽说明Ｕnet⽹络结构是基于多尺度的。
