l1范数

利⽤L1范数的CNN模型剪枝

⽂章⽬录

1.原理

缩放因⼦和稀疏性引起的惩罚。我们的想法是为每个通道引⼊⼀个缩放因⼦γ，它与该通道的输出相乘。然后我们联合训练⽹络权重和这

些缩放因⼦，并对后者进⾏稀疏正则化。最后，我们⽤⼩因⼦修剪那些通道，并对修剪后的⽹络进⾏微调。具体来说，我们⽅法的训练⽬标

由下式给出

其中（x，y）表⽰训练输⼊和⽬标，W表⽰可训练权重，第⼀个求和项对应于CNN的正常训练损失，g（·）是稀疏性引起的尺度因⼦惩

罚，λ平衡这两个项。在我们的实验中，我们选择g（s）=|s|，这被称为L1范数，⼴泛⽤于实现稀疏性。

由于修剪通道本质上对应于删除该通道的所有传⼊和传出连接，因此我们可以直接获得⼀个狭窄的⽹络（见图1），⽽⽆需借助任何特殊

的稀疏计算包。缩放因⼦充当通道选择的代表。由于它们与⽹络权重联合优化，⽹络可以⾃动识别⽆关紧要的通道，从⽽安全地删除这些通

道，⽽不会很⼤地影响泛化性能。

图1：我们将缩放因⼦（从批量归⼀化层复⽤）与卷积层中的每个通道相关联。在训练期间对这些缩放因⼦施加稀疏正则化以⾃动识

别不重要的通道。具有⼩⽐例因⼦值（橙⾊）的通道将被修剪（左侧）。修剪后，我们获得紧凑模型（右侧），然后对其进⾏微调以

达到与正常训练的完整⽹络相当（甚⾄更⾼）的精度。

利⽤BN层中的缩放因⼦。批量归⼀化已被⼤多数现代CNN⽤作实现快速收敛和更好泛化性能的标准⽅法。BN对激活进⾏归⼀化的⽅

式促使我们设计⼀种简单有效的⽅法来合并通道缩放因⼦。特别是，BN层使⽤⼩批量统计对内部激活进⾏归⼀化。设zin和zout为⼀个

BN层的输⼊和输出，B表⽰当前的minibatch，BN层进⾏如下变换：

其中和是上输⼊激活的均值和标准差值，γ和β是可训练的仿射变换参数（尺度和位移），它提供了将归⼀化激活线性转换

回任何尺度的可能性。

在归⼀化后会进⾏线性变换，那么当系数γ很⼩时候，对应的激活（Zout）会相应很⼩。这些响应很⼩的输出可以裁剪掉，这样就实现了

BN层的通道剪枝。通过在损失函数中添加γ的L1正则约束，可以实现γ的稀疏化。公式（1）等号右边第⼀项是原始的损失函数，第

⼆项是约束，其中g(s)=|s|，λ是正则系数，根据数据集调整实际训练的时候，就是在优化损失函数最⼩，依据梯度下降算法：