概率统计电子教案(19)_图文

§8.3 估计量的评选标准
对于同一个未知参数,可以有不同的点估计,

矩估计与极大似然估计仅仅是提供了两种常用的估
计而已。 在众多的估计中,我们自然希望挑选最

“优”的估计。这里涉及到一个评选标准问题。

? ?? ? 来估计未知参数 ? ,那么 ? 如果我们用 ?

? ?? ?( X1,?, X n ) 是一 便反映了估计的误差。由于 ?
个随机变量,它随着样本观测值的不同而可能取不

? ? ? ? 0是没有意义的。 同的值,因此要求?

一、无偏性 定义8.3 如果未知参数 ? 的估计量 ?? ( X 1 , ? , X n )

满足

E [??( X 1 , ? , X n )] ? ?

? ? ?? ( X 1 , ? , X n ) 为 ? 的无偏估计(量); 那么称 ? 如果 ?? ? ?? ( X 1 , ? , X n ) 满足
lim E [?? ( X 1 , ? , X n )] ? ?
n??

? ? ?? ( X 1 , ? , X n ) 为 ? 的渐近无偏估计(量)。 那么称 ?

由定理7.3知道,样本均值 X 是总体X的均值 的无偏估计;样本方差 S 是总体X的方差的无偏估
2 计; Sn 不是总体X的方差的无偏估计,但是一个渐
2

近无偏估计。

2 ( X , ? , X ) N ( ? , ? ) 例8.10 设 1 n 是取自正态总体

的一个样本。
2 ? ( ?? ? ? ? ? ) ? (1)当 未知 但 已知时, ? 的

矩估计与极大似然估计都是 X , X 是 ? 的无偏估
计。

(2)当 ? 已知但 ? 2未知 (? 2 ? 0)时, ? 2 的极大
似然估计
n 1 ? 2 ? ? ( X i ? ? )2 ? n i ?1

具有无偏性,这是因为
n n 1 1 2 2 2 ? ) ? E[ ? ( X i ? ? ) ] ? ? E[( X i ? ? ) ] E (? n i ?1 n i ?1

1 n 1 2 2 ? ? D( X i ) ? ? n? ? ? n i ?1 n
2 2 ? ? ( ?? ? ? ? ? , ? ? 0) 时 (3)当 与 均未知

? 与 ? 的矩估计与极大似然估计都分别为 X 与 Sn2
2

2 2 X 是 ? 的无偏估计; Sn 不是 ? 的无偏估计,而

是一个渐近无偏估计。

例8.11 设 ( X1 ,?, X n )是取自正态总体 R (0, ? ) 的一个样本,其中 ? 未知 (? ? 0), (1) 先看 ? 的矩估计 2 X 由于 E ( X ) ?

?
2

,因此

2 n 2 ? E (2 X ) ? ? E ( X i ) ? ? n ? ? ? n i ?1 n 2

这表明 2 X 是 ? 的无偏估计。

2、再看 ? 的极大似然估计 X ( n) 我们曾经给出了 X ( n) 的密度函数 f n? ( y),即

? ny ? n , 0 ? y ?? ? f ( y) ? ? ? ? 0, 其余 ?
n ?1

因此

E ( X (n) ) ? ? y
0

?

nyn ?1

?n

n dy ? ? n ?1

这表明 X ( n) 不是 ? 的无偏估计,而是一个渐近无

偏估计。

二、有效性 无偏估计的直观意义是,对同一个未知参数 ? 反

? ?? ?( X1,?, X n )时,尽管由 复使用同一个无偏估计 ?
?( x , 每次得到的数据算得的估计值 ? 1 , xn ) 的误差 ?( x , , x ) ?? 未必为0,但是平均误差却是0。这虽 ? 1 n
是无偏估计的一个优点,但也有其不合理的地方,因
为总误差应该累积计算,而不能相互抵消来度量。这

就是说,较合理的估计量评选标准应该是“希望 ? ? ? )2 愈小愈优”。 E(?

? 为 ? 的无偏估计时 当? ? ? ? ) 2 ? D(? ?) E (?
这就导致了下列有效性的概念。
定义8.4 设?? 与?? ? 都是未知参数 ? 的无偏估
? ? ? D (? ) ? D (? )

计。如果

?比? ?? 有效。 那么称 ?

例8.12 设 ( X1 ,?, X n ) 是取自正态总体 N ( ? ,1)
的一个样本,其中 ? 未知 (?? ? ? ? ?) ,



1 k ?k ? ? X i , ? k i ?1

k ? 1, ? , n

? k 都是 ? 的无偏估计,因为 易见,这些 ?

1 k 1 ? k ) ? ? E ( X i ) ? ? k? ? ? E(? k i ?1 k
下面来比较它们的方差。由于

1 ?k ) ? 2 D( ? k

1 1 D( X i ) ? 2 ? k ? ? k k i ?1

k

? k )愈小。从而,在这 n 个无偏估 因此 k ,愈大 D(?

? ? X 最有效,这个结论与直观认识是一致 计中, ?
的。因为当k<n时, 丢弃了一部分样本所提供的 信息。

例8.12(续) 对任意常数
? ? ? ci X i 。由于 记?
i ?1 k

c1 ,?, cn ,
n

? k ) ? ? ci E ( X i ) ? ? ? ci E(?
i ?1 i ?1

k

因此, ? ? 成为

? 的无偏估计的充分必要条件是 :
? k ) ? ? ci 2 D( X i ) ? ? ci 2 D( ?
i ?1 i ?1 k n

? ci ? 1 ,且
i ?1

n

? 具有无偏性)下, 在约束条件 ? ci ? 1 (为了保证 ?
i ?1

n

k 1 2 当且仅当 ci ? (i ? 1, ? , n) 时, ? ci 达到最小。这 i ?1 n

又一次验证:在形如 效。

? c X 的无偏估计中,X 最有
i ?1 i i

k

2 ( X , ? , X ) N ( 0 , ? ) 例8.13 设 1 n 是取自正态总体

? 2 ? 0 。? 2 的极大似然估 一个样本,其中 ? 2未知,

n 1 ? 2 ? ? X i2 ? n i ?1

具有无偏性,而样本方差 S 也是 ? 的无偏估计。
2 2

下面来比较它们方差的大小。由
? X ~ ? (n), X ? ? 2n ? 2 ? ? i ?1 i ?1 ? 4 4 4 n ? 1 ? 2 ? ? ? 2 2 ? D ( ? ) ? D X ? 2n ? ? 可知 i ?? 2 2 ? 2 n n ? ? i ?1 ? n 1
n 2 i 2 n 2 i

? 1 D? 2 ??

另外,由于
1

?2

2 ( X ? X ) ? ? i i ?1

n

(n ? 1) S 2

?2

~ ? 2 (n ? 1)

2 4 4 ? ? ( n ? 1 ) S ? 2 ? D( S 2 ) ? D? ? 2(n ? 1) ? ?? 2 2 2 (n ? 1) ? ? n ?1 ? (n ? 1)

?4

n 1 易见, ? ? 2 ? ? X i2比 S 2 更有效。 n i ?1

例8.14 设 ( X1 ,?, X n ) 是取自总体 R (0, ? ) 的一

个样本,其中? 未知, (? ? 0) 。由例8.11知道,

? 的矩估计 2 X 是无偏估计,且方差为
4 4 ?2 ?2 D( 2 X ) ? 4 D( X ) ? D( X ) ? ? ? n n 12 3n

另外 ? 的极大似然估计 X ( n) 虽然不是无偏估计,
但我们可以把它修正成一个无偏估计

n ?1 ? ?? X (n) n

因为

n ?1 n ? 1 n? ? E (? ) ? E ( X (n) ) ? ? ?? n n n ?1
?

由于

?2 ) ? E (? ?

0

n ? 1 2 ny n?1 (n ? 1)2 2 ( y) dy ? ? n n ? n(n ? 2)
2 2 2

(n ? 1) ? ? 2 2 2 ? ? ? D(? ) ? E (? ) ? [ E (? )] ? ?? ? n(n ? 2) n(n ? 2)
n ?1 ? X ( n ) 比 2 X 更有效。 易见, ? ? n

例8.14提供了一种把不具有无偏性的估计修正成
无偏估计的方法。一般地,如果
??c ? k

?) ? k? ? c ? ? E(?
一定是 ? 的无偏估计。样本方差 S 2 正
2

那么,

是在样本的二阶中心矩 Sn 基础上经修正后得到的。

?( x1,?, xn ) 来估计未知参数 ? 时, 当我们使用 ?
? ? ? | 也是反映误差的一个较合理的量。当样本大 |?

小n增大时,即样本所提供的信息越来越多时,一
? ? ? | 趋近于0。这就导致 个合理的估计应该使得 | ?

了下列相合性的概念。

三、相合性
定义8.5 如果未知参数 ? 的估计量 ?? ( X 1 , ? , X n )

满足 ?? ? ? ,即对任意一个 ? ? 0 ?( X , , X ) ? ? |? ? ) ? 0 lim P(| ?
n ?? 1 n

P

那么称 ?? 为 ? 的相合估计量(或一致估计量)。
定理7.3(iii)与(iv)告诉我们,样本均值 X 是总

体X的均值的相合估计;样本方差 S 2 是总体X的方
差的相合估计。在相当一般的条件下,可以证明矩

估计与极大似然估计都是相合估计。

下面的定理给出了判断一个无偏估计是否具有相
合性的充分条件。

, X n ) 是未知参数 ? 的一个无 偏估计,如果 lim D[?? ( X 1 , ? , X n )] ? 0 ,那么 ?? 是 ?
n??

?( X , 定理8.2 设 ? 1

的相合估计。
?) ? ? ,因此由切比雪夫不等式 证明 由于 E (?

推得,对任意一个 ? ? 0 ,

?( X , P(| ? 1

, X n ) ? ? |? ? ) ?

?) D(?

?

2

?( X 1 ,?, X n )] ? 0 得到 ? ? ?? 。 于是,由 lim D[?
n ??

P

证毕
由定理8.2可以看出,例8.13中 ? 2 的无偏估计
n 1 ? 2 ? ? X i2 与 S 2 ? n i ?1

都具有相合性;例8.14中的无偏估计

n ?1 ? ?? X (n) 与 2 X n
也都具有相合性,并且由

X (n)

n ? P ? ? ?? n ?1

推知 X ( n) 同样具有相合性。 最后我们还要指出,频率既是概率的矩估计, 也是极大似然估计(按总体 X ~ B(1, p) 来理解,见 习题8.1(1)),它不仅具有无偏性,也具有相合 性。


相关文档

概率统计电子教案
概率统计电子教案(红15)
概率论电子教案,41
概率统计电子教案(4).
概率统计电子教案(18)
概率统计电子教案(20)
概率统计电子教案(6)
概率论与数理统计电子教案界面
学霸百科
新词新语
电脑版 | 学霸百科