偏差公式注:在统计学的应用中,参数估计和假设检验是最重要的两(2)
均方误差作为$\hat{\theta}$误差大小从整体角度的一个衡量,这个量越小,就表示$\hat{\theta}$的误差平均来说比较小,因而也就越优. 由定义可以看出来,均方误差小并不能保证$\hat{\theta}$在每次使用时一定给出小的误差,它有时也可以有较大的误差,但这种情况出现的机会比较少.
一个例子:
用100个学生的平均成绩作为全校学生平均成绩的估计,比起用抽出的第一个学生的成绩去估计,哪种方法更好?设总体服从正态分布,这两个估计分别是$\bar{X} = (X_1 + ... + X_100)/100$和$X_1$,如果我们分别计算这两个估计量的均方误差,可得
$$E(\bar{X} - \mu)^2 = \sigma^2/100, E(X_1 - \mu)^2 = \sigma^2$$
故$X_1$的均方误差是$\bar{X}$的100倍(如果多次随机取样每次取100个学生,那么$X_1$可能是任意一位学生相当于随机变量$X$;$\bar{X}$也可能是任意100位同学,相当于$\bar{X}$。比较可以发现,此时求$Mse(\bar{X})$以及$Mse(X_1)$的公式其实就是求$X$和$\bar{X}$的方差的定义)。
相合性准则是根据“依概率收敛”的形式来定义的。这个形式与大数定律的形式相同,因此也可以用“相合性”从估计的观点来对大数定律作出解释。
定义:设$\hat{\theta}(X_1, ..., X_n)$为参数$\theta$的估计量,若对于任意$\theta$,当$n -> +inf$时,
$\hat{\theta}_n -> \theta$,即¥00000000000 (1.4-1)¥
则称$\hat{\theta}_n$为$\theta$的相合估计量或一致估计量。
对于样本均值来说,大数定律指出当样本量足够大时,样本均值依概率趋近于总体均值,就相当于这里的估计量$\hat{\theta}$依概率趋近于带估计参数$\theta$。也就是说,概率$........$当样本大小为n时,样本均值$\bar{X}_n$这个估计量与真值$\theta$的偏离达到$e$这么大或更大的可能性。式子1.4-1表明:随着n的增加,这种可能性越来越小,以致趋于0.
相合性与渐进无偏性有什么区别?
这两个定义看起来差不多,很容易混淆。从形式上来看,渐进无偏性要求的是随着样本量的增加,估计量的期望趋近于被估计量;而相合性要求的是估计量本身趋近于被估计量。
如果估计量是收敛的,那么这两个定义几乎是等同的。但是如果估计量是不收敛的,例如始终是$-1, 1$无限循环的数列,被估计量的值恰好为0,那么这时候满足了渐进无偏性的条件,但是并不满足相合性的条件。因此可以说相合性比渐进无偏性的条件更加严格。满足了相合性就有极大的可能(因为相合性是依概率收敛,因此也不能说绝对满足)是满足渐进无偏性的,但是反过来却不一定。
概括的说,统计量本身完全是样本的函数,自身不包含任何未知参数(样本一旦确定,统计量的值也就定下来了),但是其分布却往往包含未知参数;枢轴量恰恰相反,枢轴量本身就包含总体中的未知参数,但是其分布的形式一般是确定的,不包含未知参数。
前面的小结中已经多次提到了统计量:小结7中对统计量做了基本说明,并且列出了常用的统计量,这些统计量可以用来对总体中的未知参数进行点估计(例如用样本均值估计总体均值);小结8中提到的三大抽样分布都是统计量的分布,这些统计量都是相互独立且服从标准正态分布的随机变量的函数(例如n个上述随机变量的平方和服从自由度为n的卡方分布)。
现在见俄打击有效抢风头