⾕歌⼤脑的Swish激活函数与ReLU激活函数对⽐
色综合加勒比
作者：chen_h
微信号 & QQ：862251340
微信公众号：coderpai
简书地址：
最近⾕歌⼤脑公布了⼀个新的激活函数，叫做 激活函数。这个函数⾮常的有趣，很多⼈都把它应⽤到⼀些⼩的神经⽹络和⼤的神经⽹络中去测试它的性能。所以，我也打算去 kaggle 上⾯测试⼀些这个函数的性能如何。
激活函数的数学公式⾮常的简单，即 f(x) = x * sigmoid(x) 。根据⾕歌⼤脑的论⽂，该激活函数的性能⽐ ReLU 激活函数的性能要好很多。
我利⽤ Keras 实现的 ReLU 模型，在 kaggle 上⾯获得的分数是 0.99457。我保持所有的模型参数不变，只是把原来模型中的 ReLU 激活函数修改为 Swish 激活函数，该模型的正确率就可以达到 0.99671 。
什么是增根
单片机基础编写 Swish 激活函数撒野结局
在 keras 中还没有实现 Swith 激活函数。所以我们第⼀步就是需要去实现这个激活函数。下⾯的 3 ⾏代码就可以实现这个功能：
from keras import backend as K
from keras.layers import Activationfrom
ic_utils import get_custom_objects
def swish(x):
return (K.sigmoid(x) * x)
三角体的体积公式get_custom_objects().update({'swish': Activation(swish )})
现在我们只需要将 激活函数添加到模型就⾏了。
中国古代四大名妓
model.add(Conv2D(filters = 32, kernel_size = (5,5),padding = ‘Same’,
activation =’swish’, input_shape = (28,28,1)))
但我们的最后⼀层还是采⽤原来的 sigmoid 激活函数。
精度⽐较
在正确率⽅⾯，我发现 Swish 激活函数的性能⽐ ReLU 激活函数好⼀点，在 kaggle 上⾯的排名⼤约可以排到 90 名。高考专业查询
时间⽐较
在我的 Geforce 940mx 上⾯，ReLU 激活函数⽐ Swish 激活函数快 10 秒左右。我知道可能 Swish 激活函数在计算 sigmoid 函数的时候⽐ ReLU 多浪费了 10 秒。
避孕套的英文
总结
在 kaggle 上⾯提交之后，我们的正确率只是多了 0.002 左右，排名⼤约在 90 名。但是我们每运⾏⼀个 epoch ，在 GPU 上⾯需要多花费 20% - 30% 的时间。刚刚我们使⽤的是最原始的 Swish 版本，还有另外⼀个版本，即 Swish_beta (f(x) = 2x*sigmoid(beta*x)) 。我希望这个激活函数⽐最原始的激活函数可以更加的⾼效。
参考资料
kaggle 代码，。
GitHub 代码，。
Swish 原始论⽂，。
如果你发现了任何的问题，或者有什么好的想法，请与我联系。
作者：chen_h
微信号 & QQ：862251340
简书地址：
CoderPai 是⼀个专注于算法实战的平台，从基础的算法到⼈⼯智能算法都有设计。如果你对算法实战感兴趣，请快快关注我们吧。加⼊AI 实战微信群，AI实战QQ群，ACM算法微信群，ACM算法QQ群。长按或者扫描如下⼆维码，关注 “CoderPai” 微信号（coderpai）
