unet输入图像滑块_图像分割U-NET

更新时间:2023-06-24 10:58:59 阅读: 评论:0

unet输⼊图像滑块_图像分割U-NET
背景
Mask = Function(I)
1
1. 什么是图像分割问题呢? 简单的来讲就是给⼀张图像,检测是⽤框出框出物体,⽽图像分割分出⼀个物体的准确轮廓。也这样考虑,给出⼀张图像 I,这个问题就是求⼀个函数,从I映射到Mask。⾄于怎么求这个函数有多种⽅法。我们可以看到这个图,左边是给出图像,可以看到⼈和摩托车,右边是分割结果。
墨玉貔貅2. 求这个函数有很多⽅法,但是第⼀次将深度学习结合起来的是这篇⽂章全卷积⽹络(FCN),利⽤深度学习求这个函数。在此之前深度学习⼀般⽤在分类和检测问题上。由于⽤到CNN,所以最后提取的特征的尺度是变⼩的。和我们要求的函数不⼀样,我们要求的函数是输⼊多⼤,输出有多⼤。为了让CNN提取出来的尺度能到原图⼤⼩,FCN⽹络利⽤上采样和反卷积到原图像⼤⼩。然后做像素级的分类。可以看图⼆,输⼊原图,经过VGG16⽹络,得到特征map,然后将特征map上采样回去。再将预测结果和ground truth每个像素⼀⼀对应分类,做像素级别分类。也就是说将分割问题变成分类问题,⽽分类问题正好是深度学习的强项。如果只将特征map直接上采样或者反卷积,明显会丢失很多信息。
3. FCN采取解决⽅法是将pool4、pool3、和特征map融合起来,由于pool3、pool4、特征map⼤⼩尺⼨是不⼀样的,所以融合应该前上采样到同⼀尺⼨。这⾥的融合是拼接在⼀起,不是对应元素相加。
4. FCN是深度学习在图像分割的开⼭之作,FCN优点是实现端到端分割等,缺点是分割结果细节不够好,可以看到图四,FCN8s是上⾯讲的pool4、pool3和特征map融合,FCN16s是pool4和特征map融合,FCN32s是只有特征map,得出结果都是细节不够好,具体可以看⾃⾏车。由于⽹络中只有卷积没有全连接,所以这个⽹络⼜叫全卷积⽹络。屋子
Unet⽹络结构
公司三证很多分割⽹络都是基于FCNs做改进,包括Unet。Unet包括两部分,可以看右图,第⼀部分,特征提取,VGG类似。第⼆部分上采样部分。由于⽹络结构像U型,所以叫Unet⽹络。
特征提取部分,每经过⼀个池化层就⼀个尺度,包括原图尺度⼀共有5个尺度。
上采样部分,每上采样⼀次,就和特征提取部分对应的通道数相同尺度融合,但是融合之前要将其crop。这⾥的融合也是拼接。东莞石龙金沙湾
个⼈认为改进FCN之处有:
多尺度
适合超⼤图像分割,适合医学图像分割金牛处女
Unet——输⼊输出
医学图像是⼀般相当⼤,但是分割时候不可能将原图太⼩输⼊⽹络,所以必须切成⼀张⼀张的⼩patch,在切成⼩patch的时候,Unet由于⽹络结构原因适合有overlap的切图,可以看图,红框是要分割区域,但是在切图时要包含周围区域,overlap另⼀个重要原因是周围overlap部分可以为分割区域边缘部分提供⽂理等信息。可以看黄框的边缘,分割结果并没有受到切成⼩patch⽽造成分割情况不好。
3.Unet——反向传播
Unet反向传播过程,⼤家都知道卷积层和池化层都能反向传播,Unet上采样部分可以⽤上采样或反卷积,那反卷积和上采样可以怎么反向传播的呢?那什么是反卷积呢?先来讲下卷积的过程
Y = Matrix_1(Filter)* Matrix_2(Image)
1
Matrix_1和Matrix_2分别是将卷积核和图像转成矩阵函数。也就说给⼀个输⼊X,利⽤矩阵乘法能得到卷积后输出Y。
Y=C*X
1
所以卷积可以分解成两个矩阵相乘。很显然,卷积反向传播就是C的转置相乘。举个例⼦:
玫瑰精油的使用方法Y=[1,2]*[X,x_1]T
1
Y对x求导,dy/dx=[1,2]^T。清炒白菜
反卷积就是转置卷积,也是⼀种卷积,可以看到图7,这个就是转置卷积,由⼩尺⼨到⼤尺⼨的过程。也就是说反卷积也可以表⽰为两个矩阵乘积,很显然转置卷积的反向传播就是也是可进⾏的。所以说整体是Unet是可以反向传播的。
3.Unet——与其他结构⽐较之FPN
如何提高工作效率这是FPN检测⽹络,可以看到红框,如果将红框到过来可以发现,FPN部分结构和Unet相似之处。从⽽说明Unet⽹络结构是基于多尺度的。

本文发布于:2023-06-24 10:58:59,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/82/1028197.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:分割   卷积   图像
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图