⼴义线性模型（GeneralizedLinearModels）
转载请注明出⾃BYRans博客：
湿润的近义词是什么前⾯的⽂章已经介绍了⼀个回归和⼀个分类的例⼦。在模型中我们假设：
在分类问题中我们假设：
他们都是⼴义线性模型中的⼀个例⼦，在理解⼴义线性模型之前需要先理解指数分布族。
指数分布族（The Exponential Family）
如果⼀个分布可以⽤如下公式表达，那么这个分布就属于指数分布族：
公式中y是随机变量；h(x)称为基础度量值（ba measure）；
η称为分布的⾃然参数（natural parameter），也称为标准参数（canonical parameter）；
T(y)称为充分统计量，通常T(y)=y；
a(η)称为对数分割函数（log partition function）；
本质上是⼀个归⼀化常数，确保概率和为1。
当T(y)被固定时，a(η)、b(y)就定义了⼀个以η为参数的⼀个指数分布。我们变化η就得到这个分布的不同分布。
introduce名词
伯努利分布属于指数分布族。伯努利分布均值为φ，写为Bernoulli(φ)，是⼀个⼆值分布，y ∈ {0, 1}。所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 −φ。当我们变化φ就得到了不同均值的伯努利分布。伯努利分布表达式转化为指数分布族表达式过程如下：
其中，
再举⼀个⾼斯分布的例⼦，⾼斯分布也属于指数分布族。由⾼斯分布可以推导出线性模型（推导过程将在EM算法中讲解），由线型模型
失望的近义词
的假设函数可以得知，⾼斯分布的⽅差与假设函数⽆关，因⽽为了计算简便，我们设⽅差=1。⾼斯分布转化为指数分布族形式的推导过程如下：
其中
许多其他分部也属于指数分布族，例如：伯努利分布（Bernoulli）、⾼斯分布（Gaussian）、多项式分布（Multinomial）、泊松分布（Poisson）、伽马分布（Gamma）、指数分布（Exponential）、β分布、Dirichlet分布、Wishart分布。
延胡索的功效构建⼴义线性模型（Constructing GLMs）
在分类和回归问题中，我们通过构建⼀个关于x的模型来预测y。这种问题可以利⽤⼴义线性模型（Generalized linear models，GMLs）来解决。构建⼴义线性模型我们基于三个假设，也可以理解为我们基于三个设计决策，这三个决策帮助我们构建⼴义线性模型：
1. ，假设满⾜⼀个以为参数的指数分布。例如，给定了输⼊x和参数θ，那么可以构建y关于η的表达式。
2. 给定x，我们的⽬标是要确定T(y)，即。⼤多数情况下T(y)=y，那么我们实际上要确定的是。即给定x，假设我
们的⽬标函数是。（在逻辑回归中期望值是，因此⽬标函数h是φ；在线性回归中期望值是µ，⽽⾼斯分布中，因此线性回归中
⽬标函数）。
蛏子怎么做好吃3. 假设⾃然参数η和x是线性相关，即假设：
假设有⼀个预测问题：基于特征商店促销活动、最近的⼴告、天⽓、星期⼏等特征x，来预测商店在任⼀⼩时内的顾客数⽬y。
根据概率知识可知，x、y符合泊松分布。泊松分布属于指数分布族，我们可以利⽤上⾯的3个假设，构建⼀个⼴义线性模型来进⾏构建预测模型。
GLMs构建最⼩⼆乘模型
线性回归中的优化⽬标y（损失函数）是由最⼩⼆乘法得到的，可以使⽤⼴义线性模型构建最⼩⼆乘模型。三个假设：
1. 最⼩⼆乘法得到的⽬标变量y是⼀个连续值，我们假设给定x下y的分布符合⾼斯分布。假设1中的ExponentialFamily(η)就是⾼斯分布。公关活动
2. 在⾼斯分布中，⽬标函数
3. 假设：
推导过程如下：
第⼀步变换根据假设2：
第⼆步变换根据y|x; θ∼ N(µ, σ2)，⾼斯分布的期望值是µ
试用期工作总结100字
第三步根据假设1：⾼斯分布中
第四步根据假设3：
现在已经使⽤⼴义线性模型构建出了最⼩⼆乘模型，接下来的⼯作就是利⽤梯度下降、⽜顿⽅法来求解θ。、的内容请参考之前的讲义。
GLMs构建逻辑回归
逻辑回归可以⽤于解决⼆分类问题，⽽分类问题⽬标函数y是⼆值的离散值，。根据统计知识，⼆分类问题可以选择伯努利分布来构建模型。
在伯努利分布的指数分布族表达式中我们已知：，从⽽得到。
构建⼴义线性模型的三个假设：
1. 假设符合伯努利分布，
2. ，伯努利分布中
3.
推导过程如下：
南斋
同最⼩⼆乘模型⼀样，接下来的⼯作就由梯度下降或⽜顿⽅法来完成。
注意⼀下上⾯的推到结果，回忆⼀下，在中，我们选⽤Sigmoid函数。
之所以在逻辑回归中选⽤这个g(z)作为Sigmoid函数是由⼀套理论作⽀持的，这个理论便是⼴义线性模型。
