样本均值的标准误估计量有偏的一个证明

0. 引言

国内常用的概率统计教材在介绍抽样分布的章节基本均会涉及样本均值，但是至多给出样本均值的抽样方差（Sampling Variance）估计量是无偏且一致的证明后便戛然而止。然而，一个有趣的事实是，样本均值的标准误估计量是有偏的【注：样本均值的标准误的估计量本身是一个随机变量，因此它也具有一个抽样分布以及标准误。回忆在CLM假定下，OLS估计量在减去真实值且除以其标准误后服从一个自由度为n-k（包含截距项）的t分布的情形。之所以如此，正是由于OLS估计量的标准误本身就是一个随机变量，因为随机误差项的方差是基于回归残差的无偏估计】。当然，这一事实并不会造成多末严重的影响，因为样本均值的标准误估计量依然是一致的，且收敛到真实值的速度非常快。不过，笔者最近在阅读Aronow & Miller（2019）的著作时，发现作者利用詹森不等式（Jensen's Inequality，JI）对样本均值标准误的有偏估计作了一个精彩的证明。独乐乐不如众乐乐，在此与各位共飨。

1. 詹森不等式

JI是关于随机变量函数的期望与其期望的函数间关系的刻画，同时也是计量研究中最为常用的两个不等式之一【注：另一个为切比雪夫不等式，可以参见笔者的上一篇文章《弱大数定律与中心极限定理》】。JI表明，给定一个凸函数（Convex Function）\(g\)，以及随机变量\(X\)，不等式

\(E[g(X)]\geq g[E(X)]\)

成立。证明如下。

假设\(g(X)\)为一个凸函数，\(L(X)=a+bX\)是\(g(X)\)在点\(E(X)\)处的一条切线。根据凸函数的定义，有\(g(x)\geq L(x)\)对任意\(x\in X\)成立。因此

\(\begin{aligned}E[g(X)]&\geq E[L(X)]\\&\geq E[a+bX]\\&\geq a+bE(X)\\&\geq L[E(X)]\\&\geq g[E(X)]\end{aligned}\)

得证。

如果认为上述证明略微抽象，不妨考虑随机变量方差的表达式：

\(Var(X)=E(X^2)-[E(X)]^2\)

由于方差非负，所以\(E(X^2)-[E(X)]^2\geq0\)。移项得到：

\(E(X^2)\geq[E(X)]^2\)

其中\(g(X)=X^2\)是一个凸函数【注：同时也是严格凸（Strict Convexity）和强凸（Strong Convexity）的】。

此外，如果\(g\)是一个凹函数（Concave Function），则不等式

\(E[g(X)]\leq g[E(X)]\)

成立。因为\(-g(X)\)为凸函数，根据JI，有\(E[-g(X)]\geq -g[E(X)]\)，所以\(g[E(X)]-E[g(X)]\geq0\)。

2. 样本均值的标准误估计量

样本均值的标准误为\(\sigma=\sqrt{Var(\bar{X})}\)，估计量为\(\hat{\sigma}=\sqrt{\hat{Var}(\bar{X})}\)。注意到平方根运算为一个严格凹函数，根据定义，有\(f(x_0)<f(x)+f'(x)(x-x_0)\)。利用JI可以证明：

\(\begin{aligned}E(\hat{\sigma})&=E\left[\sqrt{\hat{Var}(\bar{X})}\right]\\&<\sqrt{E\left[\hat{Var}(\bar{X})\right]}\\&<\sqrt{Var(\bar{X})}\\&<\sigma\end{aligned}\)

因此，样本均值的标准误估计量有偏，即\(E(\hat{\sigma})\neq \sigma\)。

参考文献

[1]Aronow P M, Miller B T. Foundations of agnostic statistics[M]. Cambridge University Press, 2019.

[2]Wasserman L. All of Statistics: A concise course in statistical inference[M]. Springer, 2004.

[创作不易，转载请注明出处]