估计量

估计量(estimator)

　　估计量是指一个公式或方法,它告诉人们怎样用手中样本所提供的信息去估计总体参数。在一项应用中,依据估计量算出的一个具体的数值,称为估计值。

　　1．无偏性

　　估计量是一个随机变量，对一次具体的观察或试验的结果，估计值可能较真实的参数值有一定偏离，但一个好的估计量不应总是偏小或偏大，在多次试验中所得估计量的平均值应与参数的真值相吻合，这正是无偏性的要求。

　　【定义1】 设(X₁,X₂,...,X_n)为来自总体X的样本，为总体的未知参数，为θ的一个估计量．若对于任意有

　　 (1)

　　则称为θ的无偏估计量．记

　　称b_n以作为θ的估计的偏差，当 时，称为θ的有偏估计量，若则称是θ的渐近无偏估计．

　　无偏性的意义是，用一个估计量去估计未知参数θ，有时候可能偏高，有时候可能偏低，但是平均来说它等于未知参数θ。

　　【定理1】 设对总体X，有E(X) = μ，D(X) = σ²从总体X中抽取样本X₁,X₂,...,X_n用，S²分别表示样本均值和样本修正方差，则

　　(1)是 μ 的无偏估计量；

　　(2)S²是 σ²的无偏估计量．

　　证 由题设，E(X_i) = μ,D(X_i) = σ²(i = 1,2,...,n)，且诸X_i独立。于是有

　　(1),即是总体均值μ的无偏估计量。

　　(2)因总体X的期望E(X) = μ和方差D(X) = σ²存在，则

　　故S²是总体方差σ²的无偏估计量．

　　但对，有

　　若n很大时，则很接近1，表明 不是 σ² 的无偏估计，而是σ²的渐近无偏估计。

　　【例1】 设总体X的k阶矩存在，(X₁,X₂,...,X_n)为来

　　自总体X的样本，试证明不论总体X服从什么分布，k阶样本矩是k阶总体矩μk的无偏估计．

　　证　X₁,X₂,...,X_n与X同分布，故有

　　即有

　　【例2】 设总体X服从参数为λ的指数分布，其概率密度为

　　　　其中参数λ > 0 但未知，又设X₁,X₂,...,X_n为来自总体X的样本，试证和nZ = n[min(X₁,X₂,...,X_n)]都是1 / λ的无偏估计．

　　证　因E，所以是1 / λ的无偏估计量．而Z = [min(X₁,X₂,...,X_n)]具有概率密度

　　故知E(Z) = 1 / nλ，从而E(nZ) = 1 / λ，即nZ也是1 / λ的无偏估计量

　　此例结果表明，一个未知参数可以有不同的无偏估计量．值得注意，若 是 θ的无偏估计，g(θ)是θ的函数，不一定是g(θ)的无偏估计．

　　【例3】 试证样本标准差S不是总体标准差 σ 的无偏估计．

　　证　因为σ² = E(S²) = D(S) + [E(S)]²，注意到，所以，于是 ，这表明尽管S²是σ²的无偏估计，但S不是总体标准差σ的无偏估计．用样本标准差S去估计总体的标准差 σ ，平均来说是偏低了．

　　 2．有效性

　　用样本统计量作为总体参数的估计量，其无偏性是重要的，但同一参数的无偏估计不是唯一的，还应该从中选取最好的．例如，从总体X中抽取样本X₁,X₂,X₃,则是总体均值 μ 的无偏估计．考虑E(X_i) = μ，则每个X_i也都是 μ 的无偏估计．还有 , 其数学期望也是μ，它也是μ的无偏估计。

　　一般只要, 就是μ的无偏估计．这么多无偏估计中哪一个更好一些呢?这就有了有效性的概念．

　　对于参数 θ 的无偏估计量，其取值应在真值附近波动，我们自然希望它与真值之间的偏差越小越好，也就是说无偏估计量的方差越小越好．

　　【定义2】 设与均为未知参数θ的无偏估计量，若

　　 (2)

　　则称 比 有效

　　【定理2】 总体均值μ的所有线性无偏估计中，以最为有效。

　　证　μ的所有线性无偏估计，中 其方差

　　要求这个方差的最小值，相当于求函数，在条件下的最小值．这是一个条件极值问题，用拉格朗日乘数法，令

　　由

　　得

　　即c₁ = c₂ = ... = c_n

　　代入，则。

　　这是唯一驻点，应是极小值点，亦是最小值点，即当时，达到最小，即

　　为方差最小值．这表明在总体均值μ的所有线性无偏估计中，以最为有效．

　　【例4】(续例2)在例2的条件下，试证当时，θ的无偏估计量 比无偏估计量nZ有效．

　　证　因为，所以．再由Z的密度函数可得，故有。当时 ，故比nZ有效．

　　在θ的所有无偏估计量中，若是具有最小方差的无偏估计量，则称为θ的一致最小方差无偏估计量最优无偏估计量．

　　可以证明，无偏估计量的方差的下界D₀(θ)为

　　当时，就是θ的最优无偏估计量．这里，f(x,θ)表示连续型随机变量的概率密度或离散型随机变量的概率函数．

　　【例5】 设总体X服从参数为λ的泊松分布，X₁,X₂,...,X_n是来自该总体的一个样本，求参数λ的极大似然估计量 ，并证明 是参数λ的最优估计量．

　　解　设样本的一个观察值为X₁,X₂,...,X_n，则似然函数

　　令

　　得

　　由于，故是参数λ的无偏估计量．

　　又因

　　lnf(x;λ) = − λ + xlnλ − ln(x!)

　　所以

　　因此，，即是参数λ的最优估计量

　　3．一致性

　　上面从无偏性和有效性两个方面讨论了选择估计量的标准，但它们都是在固定样本容量竹的前提下提出的．容易想象，如果样本容量越大，样本所含的总体分布的信息应该越多，我们希望随着样本容量的增大，估计量的值能够稳定于待估参数的真值，估计量的这种性质称为一致性．

　　【定义3】设为参数θ的估计量，若对于任意及任意ε > O，有

　　 (3)

　　即依概率收敛于θ，则称为θ的一致估计量(或相合估计量)．

　　【例6】证明样本k阶原点矩 是总体k阶原点矩的一致估计．

　　证由于X₁,X₂,...,X_n相互独立与X同分布，所以对任意, 也相互独立与X^k同分布．因此，由大数定律，对于任意ε > 0，有

　　此表明A_k是 μk的一致估计量．

　　进而，若待估参数θ = g(μ₁,μ₂,...,μ_k)，其中g(·)为连续函数，则θ的估计量(这里A_k为样本k阶原点矩)是θ的一致估计量。由此可证，样本方差 S² 是总体方差σ² 的一致估计量。