回归

常见的七种回归技术

字数２４7８阅读443评论1喜欢2

介绍

根据受欢送程度,线性回归和逻辑回归经常是我们做预测模型时，且第一个学习

的算法。但是如果认为回归就两个算法，就大错特错了。事实上我们有许多类

型的回归方法可以去建模。每一个算法都有其重要性和特殊性。

内容

1．什么是回归分析？

2。我们为什么要使用回归分析?

３。回归有哪些类型?

４.线性回归

5.逻辑回归

６.多项式回归

7。逐步回归

８。岭回归

9。Ｌasｓo回归

回归

什么是回归分析?

回归分析是研究自变量和因变量之间关系的一种预测模型技术。这些技术应用

于预测,时间序列模型和找到变量之间关系.例如可以通过回归去研究超速与交

通事故发生次数的关系。

我们为什么要用回归分析？

这里有一些使用回归分析的好处：它指示出自变量与因变量之间的显著关系;它

指示出多个自变量对因变量的影响。回归分析允许我们比拟不同尺度的变量，

例如：价格改变的影响和宣传活动的次数.这些好处可以帮助市场研究者／数据

分析师去除和评价用于建立预测模型里面的变量。

回归有哪些类型？

我们有很多种回归方法用预测。这些技术可通过三种方法分类：自变量的个

数、因变量的类型和回归线的形状.

1.线性回归

线性回归可谓是世界上最知名的建模方法之一，也是应该是我们第一个接触的

模型。在模型中,因变量是连续型的，自变量可以使连续型或离散型的，回归线

是线性的.

线性回归用最适直线〔回归线)去建立因变量Y和一个或多个自变量X之间的关

系。可以用公式来表示：

Y=a＋b*X+e

a为截距，ｂ为回归线的斜率，ｅ是误差项.

简单线性回归与多元线性回归的差异在于：多元线性回归有多个〔＞1)自变

量，而简单线性回归只有一个自变量.到现在我们的问题就是:如何找到那条回

归线?

我们可以通过最小二乘法把这个问题解决。其实最小二乘法就是线性回归模型

的损失函数，只要把损失函数做到最小时得出的参数，才是我们最需要的参

数。

我们一般用决定系数(R方〕去评价模型的表现.

重点:

1．自变量与因变量之间必须要有线性关系。

2。多重共线性、自相关和异方差对多元线性回归的影响很大。

3。线性回归对异常值非常敏感，其能严重影响回归线,最终影响预测值.

4.在多元的自变量中，我们可以通过前进法,后退法和逐步法去选择最显著的自

变量。

2.逻辑回归

逻辑回归是用来找到事件成功或事件失败的概率。当我们的因变量是二分类

〔0/１，Trｕe/Ｆalｓe,Yｅs／Ｎｏ)时我们应该使用逻辑回归。

重点:

１.在分类问题中使用的非常多.

2.逻辑回归因其应用非线性log转换方法，使得其不需要自变量与因变量之间

有线性关系。

3．为防止过拟合和低拟合，我们应该确保每个变量是显著的。应该使用逐步回

归方法去估计逻辑回归.

４。逻辑回归需要大样本量,因为最大似然估计在低样本量的情况下表现不好.

5.要求没有共线性.

６.如果因变量是序数型的，那么称为序数型逻辑回归。

7．如果因变量有多个,那么称为多项逻辑回归。

3。多项式回归

写在前面：多项式回归在回归问题中占特殊的地位，因为任何函数至少在一个

比拟小的邻域内可用多项式任意逼近,因此通常在比拟复杂的实际问题中,可以

不问与诸因素确实切关系如何,而用多项式回归〔当然首先应试用最简单的一

次多项式即线性回归〕进展分析和计算

如果一个回归，它的自变量指数超过1，那么称为多项式回归。可以用公式表

示：

ｙ= a+b＊ｘ^２

在这个回归技术中,最适的线不是一条直线，而是一条曲线。

重点:

１.很多情况下,我们为了降低误差,经常会抵抗不了使用多项式回归的诱惑,但

事实是，我们经常会造成过拟合。所以要经常的把数据可视化,观察数据与模型

的拟合程度。

2。特别是要看曲线的结尾局部，看它的形状和趋势是否有意义.高的多项式往

往会产生特别乖僻的预测值。

4。逐步回归

当我们要处理多个自变量时，我们就需要这个回归方法。在这个方法中选择变

量都是通过自动过程实现的，不需要人的干预。

这个工程是通过观察统计值,比方判定系数，t值和最小信息准那么等去筛选变

量。逐步回归变量一般是基于特定的标准参加或移除变量来拟合回归模型。一

些常用的逐步回归方法如下:

1。标准逐步回归做两件事情.只要是需要每一步它都会添加或移除一些变量.

2.前进法是开场于最显著的变量然后在模型中逐渐增加次显著变量。

3．后退法是开场于所有变量，然后逐渐移除一些不显著变量。

４．这个模型技术的目的是为了用最少的变量去最大化模型的预测能力。它也

是一种降维技术。

5．岭回归

当碰到数据有多重共线性时，我们就会用到岭回归。所谓多重共线性，简单的

说就是自变量之间有高度相关关系.在多重共线性中，即使是最小二乘法是无偏

的,它们的方差也会很大。通过在回归中参加一些偏差，岭回归酒会减少标准误

差。

‘岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一

种改进的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失局部信息、

降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据

的拟合要强于最小二乘法．’ —-—百度百科

岭回归是通过岭参数λ去解决多重共线性的问题.看下面的公式:

其中ｌｏss为损失函数，peｎaｌty为惩罚项。

重点:

1。岭回归的假设与最小二乘法回归的假设一样除了假设正态性.

2．它把系数的值收缩了，但是不会为0．

３。正那么化方法是使用了l2正那么.

６．LAＳSO回归

和岭回归类似，Lasso〔lｅasｔ ＡbｓoluteShrｉｎkagｅanｄ Sｅ

lection Operａtor)也是通过惩罚其回归系数的绝对值。看下面的公式：

Ｌａsｓｏ回归和岭回归不同的是，Lａｓｓo回归在惩罚方程中用的

是绝对值,而不是平方。这就使得惩罚后的值可能会变成0。

重点：

1.其假设与最小二乘回归一样除了正态性.

2.其能把系数收缩到0，使得其能帮助特征选择。

3。这个正那么化方法为ｌ1正那么化.

４.如果一组变量是高度相关的，ｌａsｓo会选择其中的一个，然后把其他的

都变为0．

7。ElasticＮet回归

ＥｌastｉｃNeｔ回归是Lａssｏ回归和岭回归的组合。它会事先训练L1和L2

作为惩罚项。当许多变量是相关的时候，Ｅlａsｔiｃ—net是有用的。Lａｓ

so一般会随机选择其中一个，而Ｅlastｉc-nｅt那么会选在两个。

与Laｓso和岭回归的利弊比拟，一个实用的优点就是Elasｔｉc—Neｔ会继承

一些岭回归的稳定性．

重点:

１。在选择变量的数量上没有限制

2。双重收缩对其有影响

3．除了这7个常用的回归技术，你也可以看看贝叶斯回归、生态学回归和鲁棒

回归。

如何去选择回归模型

面对如此多的回归模型，最重要的是根据自变量因变量的类型、数据的维数和

其他数据的重要特征去选择最适宜的方法。以下是我们选择正确回归模型时要

主要考虑的因素：

１。数据探索是建立预测模型不可或缺的局部。它应该是在选择正确模型之前

要做的.

2。为了比拟不同模型的拟合程度，我们可以分析不同的度量，比方统计显著性

参数、Ｒ方、调整Ｒ方、最小信息标准、BIC和误差准那么。另一个是Mａlｌo

ｗ‘sＣｐ准那么。

３.穿插验证是验证预测模型最好的方法。你把你的数据集分成两组:一组用于

训练,一组用于验证.

４。如果你的数据集有许多让你困惑的变量，你就不应该用自动模型选择方

法，因为你不想把这些变量放在模型当中。

5．不强大的模型往往容易建立，而强大的模型很难建立。

6．回归正那么方法在高维度和多重共线性的情况下表现的很好。

参考