going home
SEnet通道注意⼒机制
SENet 在于通过⽹络根据loss去学习特征权重，获取到每个feature map的重要程度，然后⽤这个重要程度去给每⼀个特征通道赋予⼀个权重值，从⽽让神经⽹络去重点关注某些feature map ， 使得有效的feature map权重⼤，⽆效或效果⼩的feature map权重⼩，使模型达到更好的效果，同时也不可避免的增加了⼀些参数和计算量。
2.SENet注意⼒机制结构
输⼊input是⼀个H x W x C 的特征，共C个通道，然后进⾏⼀个空间的全局平均池化，每个通道得到⼀个标量，输出为 1 x 1 x C ， 然后再送⼊两层的全连接神经⽹络，同时保持size不变，然后再通过⼀个Sigmoid函数得到C个0~1之间的权重Mc，格式为1 x 1 x C，作为C个通道各⾃的权重，然后Mc x input得到输出feature map（对应通道的每个元素与权重分别相乘）。
2.1 squeeze：
在空间维度上进⾏特征压缩，得到1 x 1 x C 的通道描述，这个feature map具有全局的感受野，也就是说将⼀个通道上的整个空间信息压缩为⼀个全局特征，最后得到C个全局特征，采⽤global average pooling 实现。公式如下：
censors2.2 excitation：
squeeze得到1 x 1 x C的feature map 后，再通过FC -> Relu -> FC -> Sigmoid学习通道间的关系，第⼀个FC将1 x 1 x C 压缩为1 x 1 x C/r（r取16时效果最好） ，然后第⼆个FC再扩充为1 x 1 x C。
2.3 scale：
scale操作是将前⾯学习到的各个通道的权重系数Mc通过乘法与对应通道所有元素相乘，以便实现重要的特征增强，不重要的特征减弱 ，从⽽让提取的特征指向性更强。
网络外教
波士顿法律
bbkxw netclass SENet(nn.Module):
gino
def__init__(lf , in_planes , ration =16):
super(SENet, lf).__init__()
'''reflector
AdaptiveAvgPool2d():⾃适应平均池化
不需要⾃⼰设置kernelsize stride等
只需给出输出尺⼨即可
'''
lf.avg_pool = nn.AdaptiveAvgPool2d(1)# 通道数不变，H*W变为1*1 lf.fc1 = nn.Conv2d(in_planes , in_planes //16,1, bias =Fal)
lf.fc2 = nn.Conv2d(in_planes//16, in_planes ,1, bias =Fal)
lf.sigmoid = nn.Sigmoid()
amsterdamdef forward(lf , x):
avg_out = lf.lu1(lf.fc1(lf.avg_pool(x))))
英语电子词典哪个好>purporeturn lf.sigmoid(out)
