机器学习：激活函数的作⽤和原理全概率
转载知乎答主：
原回答链接：
以下为原⽂：
芸豆炒肉这是⼀个单层的感知机, 也是我们最常⽤的神经⽹络组成单元啦. ⽤它可以划出⼀条线, 把平⾯分割开
那么很容易地我们就会想⽤多个感知机来进⾏组合, 获得更强的分类能⼒, 这是没问题的啦~
如图所⽰：
项目管理方案及措施
写作用英语怎么说那么我们动笔算⼀算, 就可以发现, 这样⼀个神经⽹络组合起来，输出的时候⽆论如何都还是⼀个线性⽅程哎~纳尼, 说好的⾮线性分类呢
再盗⽤⼀幅经常在课堂上⽤的图…然⽽我已经不知道出处是哪了, 好像好多⽼师都是直接⽤的, 那我就不客⽓了嘿嘿嘿
这幅图就跟前⾯的图⼀样, 描述了当我们直接使⽤step activation function的时候所能获得的分类器, 其实只能还是线性的, 最多不过是复杂的线性组合罢了~当然你可以说我们可以⽤⽆限条直线去逼近⼀条曲线啊…额，当然可以, 不过⽐起⽤non-linear的activation function来说就太傻了嘛…题主问的激励函数作⽤是什么, 就在这⾥了！！
商品销售合同孩子智商低表现
我们在每⼀层叠加完了以后, 加⼀个激活函数, 如图中的
. 这样输出的就是⼀个不折不扣的⾮线性函数!
于是就很容易拓展到多层的情况啦, 更刚刚⼀样的结构, 加上non-linear activation function之后, 输出就变成了⼀个复杂的, 复杂的, 超级复杂的函数…额别问我他会长成什么样, 没⼈知道的~
我们只能说, 有了这样的⾮线性激活函数以后, 神经⽹络的表达能⼒更加强⼤了(⽐起纯线性组合, 那是必须得啊!)
安徽土特产y =σ(a )
乘法交换律继续厚颜⽆耻地放⼀张跟之前那副图并列的图, 加上⾮线性激活函数之后, 我们就有可能学习到这样的平滑分类平⾯. 这个⽐刚刚那个看起来⽜逼多了有⽊有!
