RSS（ResidualSumofSquares）的⾃由度为什么是n-1呢
在回归问题中，偶尔我们会遇到求⽅差的估计的情况。举了例⼦，我们常常通过Gaussian分布N(µ,σ2)的样本集合{x i}n i=1去估计分布的参数
µ,σ2。对µ的估计应该⼤家都很熟悉了：ˆµ=¯x=1
n∑n
i=1
x i，然⽽，对σ2的估计，在教科书中，却常常见到两种形式：
第⼀种形式就不解释了，第⼆种形式⼀般称为对σ2的⽆偏估计形式。这是除以n−1才是⽆偏的呢？这个问题往往是刚接触的同学的困惑。不过这个n−1似乎也不是那么的天外来客：你看，¯x与x i并不是独⽴的，这必然导致每⼀个求和项(x1−¯x),(x2−¯x),⋯,(x n−¯x)之间并不是完全的独⽴的关系，因此求和之后直接除以n肯定不对啊，要调整，这个调整就是减⼀：n→n−1。以上是⼀个make n的解释，相信⼤家听了过后就会理解为什么要减⼀了。但是处⼥座同学和强迫症患者往往不会仅仅满⾜于此(裤⼦都脱了，你就给我说这些!?)，所以，下⾯就给⼀个mathematical的解释。
RSS(Residual Sum of Squares)的定义是：
其中¯x=1
n∑n
i=1
x i是平均值。我们的⽬标是没有蛀⽛把RSS转化成⼀个个相互独⽴的项然后求和。
我们记最后的中间的这个矩阵为A，由于A是实对称的，因此肯定和对⾓矩阵合同。对A进⾏对⾓分解得：
其中P是正交矩阵。于是有
其中y=P T x。我们现在来检查⼀下y的⽅差(假设Ex=0)：
因此y的各个分量{y i}n i=1之间相互独⽴，并且⽅差为σ2。所以从式来看，RSS/(n−1)确实是对σ2的⼀个不错的估计(⽆偏的)！正交矩阵P是怎么得到的呢？
λ=0对应的单位特征向量为(1/√n,1/√n,⋯,1/√n)T；
λ=1对应的n−1个单位特征向量为p i，其中p i∈{α∈R n|(1,1,⋯,1)α=0,||α||2=1}，并且p i,p j之间相互垂直。
经过我抓⽿挠腮的推导后，求出p i是这样的(⼤家拿去⽤吧不⽤感谢我/羞)：
其中p i的前i−1个分量是
1
√(i−1)i，第i个分量是−
i−1
√(i−1)i，后⾯的就算是0。其中需要专门给出的是p
i=(
1
√2,−
1
√2,0,⋯,0)。因此：
因此，x和y之间的对应关系就是：补充内容：
n
∑
i=1(x i−¯x)2=
n
∑
i=1x2i−
1
n
n
∑
i,j=1x i x j=
1
2n
n
∑
i,j=1(x i−x j)2
Processing math: 100%
