2 经典线性回归模型
§2.1 概念与记号
1．线性回归模型是用来描述一个特定变量y 与其它一些变量x 1，…，x p 之间的关系。 2． 称特定变量y 为因变量 （dependent variable ）、 被解释变量 （explained variable ）、 响应变量（respon variable ）、被预测变量（predicted variable ）、回归子 （regressand ）。
3．称与特定变量相关的其它一些变量x 1，…，x p 为自变量（independent variable ）、 解释变量（explanatory variable ）、控制变量（control variable ）、预测变量 （predictor variable ）、回归量（regressor ）、协变量（covariate ）。
4．假定我们观测到上述这些变量的n 组值：(
) ip i i x x y , , , 1 L (i=1，…，n)。称 这n 组值为样本（sample ）或数据（data ）。
§2.2 经典线性回归模型的假定
假定 2.1（线性性(linearity)）
i
ip p i i x x y e b b b + + + + = L 1 1 0 (i=1，…，n)。 （2.1）
称方程（2.1）为因变量y 对自变量x 1，…，x p 的线性回归方程（linear regression equation ），其中 ( ) p ， k k , , 1 0 L = b 是待估的未知参数（unknown parameters ），
( ) n i i , , 1 L = e 是满足一定限制条件的无法观测的误差项（unobrved error term ） 。称自
变量的函数 ip p i x x b b b + + + L 1 1 0 为回归函数（regression function ）或简称为回归 （regression ）。称 0 b 为回归的截距(ntercept)，称 ( ) p k k , , 1 L = b 为自变量的回归系数 （regression coefficients ） 。某个自变量的回归系数表示在其它条件保持不变的情况下，
这个自变量变化一个单位对因变量的影响程度， 这个影响是在排除其它自变量的影 响后，这个自变量对因变量的偏效应。
下面引入线性回归方程的矩阵表示。记
( ) T
p b b b b , , , 1 0 L = （未知系数向量（unknown coefficient vector ）） ( ) T ip i i x x x , , ~ 1 L = ， ( ) T ip i i x x x , , , 1 1 L = ，则
i
T
i i x y e b + = (i=1，…，n)。
又记
X = ÷ ÷ ÷ ø
ö ç ç ç è æ np p n x x x x M L L L M M 1 1 11 1 1 ， Y = ÷ ÷ ÷ ø ö ç ç ç è æ n y y M 1 ， ÷ ÷ ÷
ø ö ç ç ç è æ = n e e e M 1 ，则 e
b + = X Y 假定2.2（严格外生性(strictly exogeneity)）
( ) ( )
np n p i n i x x x x E x x E , , , , , , | ~, , ~| 1 1 11 1 L L L L e e = =0 (i=1，…，n)。
严格外生性的含义 ·误差项的无条件期望为零
( ) 0 = i E e
(i=1，…，n)。 ·正交条件（orthogonality conditions ）
( ) ( ) ( ) 0 ~ 1 = ÷ ÷ ÷ ø
ö ç ç ç è æ = i jp i j i j x E x E x E e e e M (i=1，…，n ; j=1，…，n )。
·不相关条件（zerocorrelation conditions ）
( ) 0
, cov = jk i x e (对所有i ，j ，k)。
由以上严格外生性的含义可知，如果在时间序列数据中存在的滞后效应 （lagged effect ）和反馈效应（feetback effect ） ，那么严格外生性条件就不成立。因
而，在严格外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指 自变量历史值对因变量当前值的影响， 反馈效应是指因变量当前值对自变量未来值 的影响。
假定2.3（无多重共线性(no multicollinearity)）
n×(p+1)矩阵X的秩为(p+1)的概率为1。 假定2.4（球面误差方差(spherical error variance)）
( ) n
n I x x Var 2
1 ~, , ~| s e = L ·条件同方差（conditional homoskedasticity ）
( )
0 ~ , , ~| 2 1 2 > =s e n
i x x E L (i=1，…，n)。 （误差方差） ·误差项不相关(no correlation between error term )
( )
0 ~ , , ~| 1 = n
j i x x E L e e (对所有i≠j) 在经典线性回归模型的四个假定中，假定2.1和假定2.3是必不可少的，但假定 2.2和假定2.4中的严格外生性、条件同方差和误差项不相关以后可以适当放宽。
§2.3 随机样本的经典线性回归模型
若样本( )
T
i i x y ~, (i=1，…，n)为IID ，那么假定2.2和假定2.4可简化为 假定2.2: ( ) 0
~| = i i x E e (i=1，…，n) 假定2.4： ( ) 0
~| 2
2 > =s e i i x E (i=1，…，n) §2.4 确定性自变量的经典线性回归模型
若更进一步假定自变量x 1，…，x p 为确定性的变量，那么假定2.2和假定2.4可 进一步简化为
假定2.2： ( ) 0 = i E e
(i=1，…，n)
假定2.4： ( ) n
I Var 2 s e = §2.5 最小二乘估计量及其代数性质
虽然我们无法直接观测到误差项， 但对未知系数向量β的一个假想值 （hypothetical
value ）b ~
，容易计算出
ip
p i i x x y b b b ~
~ ~ 1 1 0 - - - - L 称这个量为第i 次观测的残差（residual ），并且称使残差平方和（residual sum of squares ）
( )
( ) å = - - - - = n
i ip
p i i x x y Q 1
2 1 1 0 ~ ~ ~ ~
b b b b L =( ) ( )
b b ~
~ X Y X Y T - - 达到最小的假想值：
为未知系数向量β的普通最小二乘估计量（ordinary least squares estimators ），简记 为OLS 估计量。下面介绍OLS 估计量的一些代数性质。 ·一阶条件（firstorder conditions ）
( ) 0
= - Xb Y X T （正规方程（normal equations ））
·β的OLS 估计量：在假定2.3成立时
(
)
÷ ø
ö ç è æ ÷ ø ö ç è æ = = å å = - = -
n
i i i n i T i i T
T
y x n x x n Y X X X b 1 1
1 1 1 1 ·估计量的抽样误差（sampling error ）： ( ) e
b T T X X X b 1
- = - ·第i 次观测的拟合值（fitted value ）： b
x y T
i i = ˆ ·拟合值向量（vector of fitted value ）： ( ) HY
Y X X X X Xb Y T T º = = -1
ˆ ·投影矩阵（projection matrix ）： ( ) T T X
X X X H º （对称幂等，秩为p+1，HX=X ） ·第i 次观测的OLS 残差（OLS residual ）： i i T
i i i y
y b x y e ˆ - = - = ( )
b b
~ min arg ~
Q b =
·残差向量（vector of OLS residuals ）：e=YXb= Y Y ˆ - =(IH)Y≡MY e
M = ·零化子（annihilator ）：M=I n – H （对称幂等，秩为np1，MX=0）
·一阶条件： 0 = e X T
，即 0
1 1
= å = n
i i i e x n （ ( ) 0 = i i x E e ）
·OLS 估计的几何意义： e Y
e Xb Y + = + = ˆ L(X)
·残差平方和（residuals sum of squares ）
RSS= e e M MY Y e e T T T
= = ，(其自由度为np1)
·σ 2
的OLS 估计量
RMS
p n RSS
s º - - =
1
2 （残差均方，residual mean square ）
·回归（方程）标准误（standard error of the regression (equation)）
1
- - =
p n RSS s (残差标准误，residual standard error)
·平方和分解公式
当回归方程包含常数项时，可以证明
称这个等式为平方和分解公式。记
Y
e
Y
ˆ e e Y Y
Y Y T T T + = ˆ ˆ ( ) ( ) å å å = = = + - = - n
i i
n
i i
n
i i
e y y
y y 1
2
1
2
1
2
ˆ
