逐步回归法（Stepwiregression）学习
海龟宝宝搜索逐步回归法相关的资料信息，找到⼀⽚逐步回归法的学习笔记,⽐较详细的讲了逐步回归法的三种操作⽅式，个⼈倾向于第三种⽅式。在第三种⽅式下，不但考虑了新增因⼦的解释能⼒同时也考虑了新增因⼦后已存在因⼦的解释能⼒，最终等于将所有因⼦中不适宜的因⼦剔除，留下有效因⼦。这是解决多因⼦的多重共线性的有效办法。
原⽂内容（连接在⽂尾）：
之前在 SPSS 中的回归分析算法中发现，在它⾥⾯实现的算法有 Enter 和 Stepwi 两种。Enter 很容易理解，就是将所有选定的⾃变量⼀起放⼊模型中，直接去计算包含所有⾃变量的整个模型能够解释多少因变量中的变异，以及各个⾃变量单独的贡献有多少。但对 Stepwi regression 的理解总是很模糊，今天仔细查了⼀下，做下笔记。
换届选举工作方案与平时所说的 regression analysis 不太相同，stepwi regression 可以算是⼀种 feature extraction 的⽅法。
佳能单反镜头
举个例⼦，假如我们的数据中有⼀个因变量，但却有⼗⼏或⼏⼗个⾃变量。为了便于对变量数过多的数据进⾏处理，避免 “cur of dimensionality” 中可能出现的种种问题，我们总是会对数据进⾏降维，根据
在特定领域中的知识或是理论假设，选择其中⼀些可能更有意义的变量进⾏后续分析。但不是任何情况下我们都掌握这些先验信息，所以基于数据本⾝的特征提取⽅法应运⽽⽣。
在 stepwi regression 中，提取哪些变量主要基于的假设是：在线性条件下，哪些变量组合能够解释更多的因变量变异，则将其保留。
今日事今日毕英语具体操作⽅法有三种：
Forward lection: ⾸先模型中只有⼀个单独解释因变量变异最⼤的⾃变量，之后尝试将加⼊另⼀⾃变量，看加⼊后整个模型所能解释的因变量变异是否显著增加（这⾥需要进⾏检疫，可以⽤ F-test， t-test 等等）；这⼀过程反复迭代，直到没有⾃变量再符合加⼊模型的条件。
医院的护士
Backward elimination: 与 Forward lection 相反，此时，所有变量均放⼊模型，之后尝试将其中⼀个⾃变量从模型中剔除，看整个模型解释因变量的变异是否有显著变化，之后将使解释量减少最少的变量剔除；此过程不断迭代，直到没有⾃变量符合剔除的条件。
Bidirectional elimination: 这种⽅法相当于将前两种结合起来。可以想象，如果采⽤第⼀种⽅法，每加⼊⼀个⾃变量，可能会使已存在于模型中的变量单独对因变量的解释度减⼩，当其的作⽤很⼩（不显著）时，则可将其从模型中剔除。⽽第三种⽅法就做了这么⼀件事，不是⼀味的增加变量，⽽是增加
⼀个后，对整个模型中的所有变量进⾏检验，剔除作⽤不显著的变量。最终尽可能得到⼀个最优的变量组合。
毗连区
可以想象，这样得到的变量组合，基于当前数据，应该是可以最⼤程度的解释因变量的变异，但其反⾯的作⽤就是会使模型有偏，即所谓的overfitting 问题；另外，鉴于算法是基于变量解释度来进⾏特征提取的，当两个变量对因变量的影响相近时，则不免受到较⼤的噪声影响，使特征提取结果不稳定。
逐步回归分析中，AIC值的实际意义？
AIC ⾚池信息准则，它考虑了模型的统计拟合度以及⽤来拟合的参数数⽬。AIC值越⼩，模型越优，它说明模型⽤较
艾灸痒少的参数获得了⾜够的拟合度
秋天的雨
