【论⽂阅读笔记】CutMix：数据增强
⽬录
看论⽂的原因：学习mixup的时候发现的这篇论⽂，读读看！
1.⼏种数据增强的区别:Mixup,Cutout,CutMix
Mixup：将随机的两张样本按⽐例混合，分类的结果按⽐例分配；
Cutout：随机的将样本中的部分区域cut掉，并且填充0像素值，分类的结果不变；
CutMix：就是将⼀部分区域cut掉但不填充0像素⽽是随机填充训练集中的其他数据的区域像素值，分类结果按⼀定的⽐例分配
上述三种数据增强的区别：cutout和cutmix就是填充区域像素值的区别；mixup和cutmix是混合两种样本⽅式上的区别：mixup是将两张图按⽐例进⾏插值来混合样本，cutmix是采⽤cut部分区域再补丁的形式去混合图像，不会有图像混合后不⾃然的情形
优点：
1. 在训练过程中不会出现⾮信息像素，从⽽能够提⾼训练效率；
附和是什么意思2. 保留了regional dropout的优势，能够关注⽬标的non-discriminative parts；
孤独反义词3. 通过要求模型从局部视图识别对象，对cut区域中添加其他样本的信息，能够进⼀步增强模型的定位能⼒；
4. 不会有图像混合后不⾃然的情形，能够提升模型分类的表现；
5. 训练和推理代价保持不变。
2.CutMix的原理【与代码⼀同⾷⽤更好消化】
和是两个不同的训练样本，和是对应的标签值，CutMix需要⽣成的是新的训练样本和对应标签：和，公式如下：
是为了dropd掉部分区域和进⾏填充的⼆进制掩码，是逐像素相乘，是所有元素都为1 的⼆进制掩码，与Mixup⼀样属于Beta分布：，令
则服从（0，1）的均匀分布。
为了对⼆进制掩进⾏采样，⾸先要对剪裁区域的边界框进⾏采样，⽤来对样本
和做裁剪区域的指⽰标定。在论⽂中对矩形掩码进⾏采样（长宽与样本⼤⼩成⽐例）。
剪裁区域的边界框采样公式如下：
保证剪裁区域的⽐例为，确定好裁剪区域之后，将制掩中的裁剪区域置0，其他区域置1。就完成了掩码的采样，然后将样本A中的剪裁区域移除，将样本B中的剪裁区域
进⾏裁剪然后填充到样本A。
桃花源诗陶渊明3.论⽂中的⼀些讨论内容
煎烤牛排1）.What does model learn with CutMix?
作者通过热⼒图，给出了结果。CutMix的操作使得模型能够从⼀幅图像上的局部视图上识别出两个⽬
标，提⾼训练的效率。由图可以看出，Cutout能够使得模型专注于⽬标较难区分的区域（腹部），但是有⼀部分区域是没有任何信息的，会影响训练效率；Mixup的话会充分利⽤所有的像素信息，但是会引⼊⼀些⾮常不⾃然的伪像素信息。
同时作者也给出了⼀个信息利⽤的对⽐表格，CutMix能有效地改善数据增强的效果，准确的定位和分类
4.看看代码
1).⽣成剪裁区域：
"""train.py 279-295⾏"""
"""输⼊为：样本的size和⽣成的随机lamda值"""
def rand_bbox(size, lam):
W = size[2]
H = size[3]
"""1.论⽂⾥的公式2，求出B的rw,rh"""
cut_rat = np.sqrt(1. - lam)
cut_w = np.int(W * cut_rat)
cut_h = np.int(H * cut_rat)
# uniform
"""2.论⽂⾥的公式2，求出B的rx,ry（bbox的中⼼点）"""
cx = np.random.randint(W)
cy = np.random.randint(H)
#限制坐标区域不超过样本⼤⼩
bbx1 = np.clip(cx - cut_w // 2, 0, W)
bby1 = np.clip(cy - cut_h // 2, 0, H)
bbx2 = np.clip(cx + cut_w // 2, 0, W)
bby2 = np.clip(cy + cut_h // 2, 0, H)
党参种子
"""3.返回剪裁B区域的坐标值"""
延迟退休最新政策return bbx1, bby1, bbx2, bby2
2).整体流程：
"""train.py 220-244⾏"""
for i, (input, target) in enumerate(train_loader):
# measure data loading time
data_time.update(time.time() - end)
input = input.cuda()
target = target.cuda()
r = np.random.rand(1)
if args.beta > 0 and r < args.cutmix_prob:
# generate mixed sample
"""1.设定lamda的值，服从beta分布"""
lam = np.random.beta(args.beta, args.beta)
"""2.找到两个随机样本"""
rand_index = torch.randperm(input.size()[0]).cuda()
我的偶像邓稼先target_a = target#⼀个batch
target_b = target[rand_index] #将原有batch打乱顺序
"""3.⽣成剪裁区域B"""
bbx1, bby1, bbx2, bby2 = rand_bbox(input.size(), lam)
"""4.将原有的样本A中的B区域，替换成样本B中的B区域"""
#打乱顺序后的batch组和原有的batch组进⾏替换[对应id下]
input[:, :, bbx1:bbx2, bby1:bby2] = input[rand_index, :, bbx1:bbx2, bby1:bby2] # adjust lambda to exactly match pixel ratio
"""5.根据剪裁区域坐标框的值调整lam的值"""
lam = 1 - ((bbx2 - bbx1) * (bby2 - bby1) / (input.size()[-1] * input.size()[-2])) # compute output
"""6.将⽣成的新的训练样本丢到模型中进⾏训练"""
output = model(input)
"""7.按lamda值分配权重"""
loss = criterion(output, target_a) * lam + criterion(output, target_b) * (1. - lam) el:
批评话语分析# compute output
output = model(input)
loss = criterion(output, target)
差不多就这样。
END.
