为什么样本⽅差(samplevariance)的分母是n-1?
样本⽅差计算公式⾥分母为的⽬的是为了让⽅差的估计是⽆偏的。⽆偏的估计(unbiad estimator)⽐有偏估计(biad estimator)更好是符合直觉的,尽管有的统
计学家认为让mean square error即MSE最⼩才更有意义,这个问题我们不在这⾥探讨;我
相信这是题主真正困惑的地⽅。
要回答这个问题,偷懒的办法是让困惑的题主去看下⾯这个等式的数学证明:
.
但是这个答案显然不够直观(教材⾥⾯统计学家像变魔法似的不知怎么就得到了上⾯这个等式)。
下⾯我将提供⼀个略微更友善⼀点的解释。
==================================================================
===================== 答案的分割线 ===================================
==================================================================
⾸先,我们假定随机变量的数学期望是已知的,然⽽⽅差未知。在这个条件下,根据⽅差的定义我们有
由此可得
.
因此
这个结果符合直觉,并且在数学上也是显⽽易见的。
现在,我们考虑随机变量的数学期望是未知的情形。这时,我们会倾向于⽆脑直接⽤样本均值替换掉上⾯式⼦中的。这样做有什么后果呢?后果就是,
如果直接使⽤作为估计,那么你会倾向于低估⽅差!
这是因为:
,
⽽不等式右边的那位才是的对⽅差的“正确”估计!
这个不等式说明了,为什么直接使⽤会导致对⽅差的低估。
那么,在不知道随机变量真实数学期望的前提下,如何“正确”的估计⽅差呢?答案是把上式中的分母换成,通过这种⽅法把原来的偏⼩的估计“放⼤”⼀点点,我们就能获得对⽅差的正确估计了:
⾄于为什么分母是⽽不是“为什么”;暂时我没有办法给出更“初等”的解释了。
下⾯是另⼀个⼈的证明推导:
本來,按照定義,⽅差的 estimator 應該是這個:
但,這個 estimator 有 bias,因為:
⽽ (n-1)/n * σ² != σ² ,所以,為了避免使⽤有 bias 的 estimator,我們通常使⽤它的修正值 S²: