概率统计电子教案(18)_图文

第八章 参数估计 根据样本所提供的信息对未知的总体 分布的某些值作统计推断是数理统计的基 本内容之一。统计推断的形式有两大类—

估计与检验。

§8.1 参数估计问题
在数理统计中,总体X的分布永远是未知的,因 而X的数字特征往往也是未知值,这些未知值通常称

为参数。
为了强调参数的未知性,常常冠上“未知”两 字,称为未知参数。应当指出,数理统计中参数这 个概念与概率论中的参数是有区别的。
2 2 当总体 X ~ N (? , ? ) 时,只有 ? 与 ? 都未知的

情况下, ? 与 ? 才都是参数。
2

2 ? 便不是参数,因 如果 ? 已知而 ? 未知,那么,

为 ? 是一个已知值。但是,X的二阶原点矩

E( X 2 ) ? ? 2 ? ? 2
却也是参数,因为它是一个未知值。

有一类未知参数应该引起特别的重视,它们是标
记总体分布的未知参数。

例如:已知总体 X ~ B(1, p) ,其中p未知,这个p
便是标记总体分布的未知参数,这类未知参数通常称

为总体参数。当总体X的分布类型已知时,总体分布的
未知因素就集中体现在总体参数上。 标记总体分布的

总体参数可以不止一个。例如,当 ? 与 ? 均未知时,
2

正态总体 N (?, ? 2 ) 中有两个总体参数 ? 与? 2 。

总体参数虽然是未知的,但它的可能取值的范围

却是事先(抽样前)可以知道的。称总体参数的取值范
围为参数空间,记作 Θ 。 例如,已知 X ~ P(? ), ? 未知。 ? 是总体参数, 参数空间 Θ ? (0, ?) 。 又如,已知 X ~ N (? , ? 2 ),? 与 ? 均未知。则参
2 2 ? O ? 数空间 Θ ? {(?, ? ) | ?? ? ? ? ?, ? ? 0} ,这是
2 2

平面的上半部分。

今后,在不必强调总体参数的特殊地位时,也简

单地称它为参数或未知参数。

如何根据样本来对未知参数进行估计?这就是数 理统计中的参数估计问题。参数估计的形式有两类: 一类是点估计一类是区间估计。

所谓点估计就是依据样本估计未知参数为某个
值,这在数轴上表现为一个点。

具体地说,假定要估计某个未知参数 ? ,要求 ? 的点 估计就是要设法根据样本 ( X1 ,?, X n )构造一个统计量

h( X1 ,?, X n ) 在我们通过抽样获得样本观测值 ( x1 ,
后使用 h( x1 ,

, xn ) 之

, xn ) 的值来估计未知参数 ? 的值。 ?( X , , X ) ; 称 h( X1 ,?, X n ) 为 ? 的估计量,记作 ? 1 n ?( x , , x ) ,有时我们 称 h( x , , x )为 ? 的估计值,记作?
1 n

1

n

可简记作 ?? 。

在不致引起误解的情形下,估计量与估计值都可以称

? 应该是参数空间 Θ 中的某个值。 为(点)估计。当然, ?

所谓区间估计就是依据样本估计未知参数在某一范围内, 这在数轴上往往表现为一个区间。 具体地说,假定要估计某个未知参数 ? ,要求? 的区间 估计就是要设法根据样本 ( X1 ,?, X n ) 构造两个统计量

h1 ( X1,?, X n ) 与 h2 ( X1,?, X n ) ,在我们通过抽样获得样本
观测值 ( x1 ,

, xn ) 之后,便用一个具体的区间 [h1 ( x1 , , xn ), h2 ( x1 , , xn )]

来估计未知参数 ? 的取值范围。当然,这个区间 [h1 , h2 ] 应 该是参数空间 Θ 的一个子集。

§8.2 两种常用点估计
在一个具体问题中,要求未知参数的估计值必须

先求出这个未知参数的估计量。如何来构造一个估计
量呢? 本节介绍两种常用的估计方法——矩法与极大似 然法。

一、矩估计 在§7.1中,我们通过直方图与条形图引进了样本观 测值的频率分布。 虽然对总体分布的情况我们并不十分清楚,但是频率 分布总是可以根据数据推算出来。由于样本反映了总体分

布的实际状况,因此可以设想用已知的频率分布来推测未
知的总体分布。

定理7.2对此提供了一个理论依据,因为当n较大

时,由频率分布得到的经验分布函数(定理7.1)与总体
分布函数相差甚微。于是,我们可以用频率分布(把它

看作是某个随机变量的概率函数)的数字特征来估计总
体X相应的数字特征。频率分布的各阶矩恰是相应的样

本矩的观测值(见习题7.8)。

我们用样本均值的观测值 x 作为未知的总体均值E(X) 的估计值;用样本的k阶原点矩的观测值

1 n k ak ? ? xi n i ?1
作为未知的总体k阶原点矩 ? k ? E( X k ) 的估计值。这种 估计方法称为矩法。这里样本的k阶原点矩为

1 n k Ak ? ? X i n i ?1

定义8.1 设 ( X1 ,?, X n ) 是取自总体X的一个样本,
k ? ? E ( X ), k ? 1,2,?,如果未知参数 ? ? ? (?1,?,? m ), 记 k ?

? ? ? ( A1,?, Am ) 为? 的矩估计量。 那么称估计量 ?

从定义8.1可以看出,矩法的基本思想是“替换”, 即用样本 ( X1 ,?, X n )的原点矩替换相应的总体X的原点 矩。

定理8.1 设 ( X1 ,?, X n ) 是取自总体X的一个样本,

E( X ) ? ?, D( X ) ? ? 2 , ? 与 ? 2 都未知,则有:
(i) X 是未知参数 ? 的矩估计;
2 是未知参数 (ii) Sn ? 2的矩估计, Sn 是未知参数 ? 的

矩估计;

1 n k 注:当 ? 已知时, ? X i ? ? 2 是未知参数 ? 2 的矩估 n i ?1 计。

例8.1 设 ( X1 ,?, X n )是取自总体X的一个样本,总体

X ~ P(? ) ,其中 ? 未知,? ? 0 。求 ? 的矩估计。
解:由于 ?1 ? E( X ) ? ? ,

? =X 。 因此 ? ? ?1 的矩估计为 ?
例8.2 设 ( X1 ,?, X n )是取自总体X的一个样本,总体

X ~ B(1, p),其中 p 未知,0 ? p ? 1。求 p 的矩估计。
解:由于 ?1 ? E( X ) ? p,

? =X 。 因此, p 的矩估计为 p

例8.1(续) 设一升自来水中含有的大肠杆菌个数

X ~ P(? )
其中? 未知, ? ? 0 。为了检查自来水消毒设备的效果,从 消毒后的水中随机地抽取了50次,每次1升。化验得到每 升水中大肠杆菌个数如下 大肠杆菌个数/升 0 1 2 3 4

出现的次数

17

20

10

2

1

试估计平均每升自来水中大肠杆菌的个数。

解 现在要求 E ( X ) ? ?的估计值。 ? 的矩估计为

1 ? ? ? x ? ? (0 ?17 ? 1? 20 ? 2 ?10 ? 3 ? 2 ? 4 ?1) ? 1 50
即平均每升自来水中约有一个大肠杆菌。

例8.2 设( X1 ,?, X n ) 是取自总体X的一个样本, 总
体 X ~ R(?1 ,?2 ) ,其中 ?1 ,?2 未知, ?1 ? ?2 ,求?1 ,? 2 的矩

估计。
解 由于

?1 =E ( X ) ?

? 2 ? ?1
2

2 ( ? ? ? ) ? 2 ? ?12 =D( X ) ? 2 1 12

?1 ? X ? 3Sn , ? ?2 ? X ? 3Sn . 因此 ?1 , ? 2 的矩估计分别为 ?

例8.3 设 ( X1 ,?, X n ) 是取自总体X的一个样本,
总体X的密度函数为

?(? ? 1) x? , 0 ? x ? 1, f ( x) ? ? 其余. ? 0,
其中 ? 未知, ? ? ?1。求 ? 的矩估计。

解: 由于

? ?1 ?1 ? E ( X ) ? ? x(? ? 1) x dx ? 0 ? ?2
1

?

? ? 2 X ?1 因此,? ? 2?1 ? 1的矩估计为 ? 1 ? ?1 1? X
如果我们有了一组样本观测值: 0.2 0.4 0.5 0.7 0.8 0.8 0.9 0.9

那么,算出 x ? 0.65 后即可推得未知参数 ? 的估计值为

2 ? 0.65 ? 1 ? ?? ? 0.86 1 ? 0.65

矩法是一种经典的估计方法,它比较直观,使用

也比较方便。使用矩法不需要对总体分布附加太多的
条件。

从定义8.1可以看出,即使不知道总体分布究竟是
哪一种类型,只要知道未知参数与总体各阶原点矩的

关系就能使用矩法。因此,在工程技术上矩法应用得
相当广泛。

二、极大似然估计
极大似然估计是求未知参数点估计的另一种重要 方法。为了说明极大似然估计的基本思想,举一个常 见的实例。

医生给病人看病的过程可以看作是在求一个点估计。 医生先要询问病人的发病症状,测量病人的体温、心跳 次数、血压高低,必要时还要拍片、验血等。这相当于 数理统计中的抽样,样本观测值相当于询问与检查的结

果。病人究竟得哪一种病是未知的,但总是若干种病

(记作 A1 , A2 ,?, ) 之一。如果医生在询问与检查结果的基
础上根据医学知识与经验认为病人得 A1 病出现已知症状 的可能性最大,那么医生便判断该病人得了 A1 病。医生 这种看病过程便贯穿了极大似然估计的基本思想。

设 ( X1 ,?, X n ) 是取自总体X的一个样本,X的密度函数 (或概率函数)为 f ( x,? ), ? ? Θ ,其中 ? 是总体参数, Θ 是参 数空间。这里我们用 f ( x,? ) 代替常用的 f ( x)是为了强调总 体分布的类型已知,但总体参数 ? 未知。称自变量为 ? ,定 义域为 Θ 的非负函数

L(? ; x1 ,? xn ) ? ? ? f ( xi ,? ),
i ?1

n

? ??

为似然函数。注意,在似然函数中,我们把 x1 ,?, xn 视作常
数。因此,似然函数也可以简单的记作 L(? ) 。

似然函数 L(? ) 的值反映了获得样本观测值 x1 ,?, xn 的

概率。当X为离散型随机变量时,

L(? ) ? ? ? f ( xi ,? ) ? P( X 1 ? x1 ,?, X n ? xn )
i ?1

n

当X为连续型随机变量时,

P( x1 ? ?1 ? X 1 ? x1 ? ?1 ,?, xn ? ? n ? X n ? xn ? ? n ) ? ? P( xi ? ? i ? X i ? xi ? ? i ) ? ? ?
i ?1 n i ?1 n n xi ?? i xi ?? i

f (t ,? )dt

? ? f ( xi ,? ) ? 2? i ? L(? )? (2? i )
i ?1 i ?1

n

由于 ?1 ,?, ? n 与 ? 无关,因此, L(? ) 的值决定了样
本 ( X1 ,?, X n ) 落在其观测值 x1 ,?, xn 的一个邻域内的概 率的大小。于是我们可以通过比较 L(? ) 的值来决定未知 参数 ? 的点估计。

定义8.2 设 ( X1 ,?, X n ) 是取自总体X的一个样本。如

? ?? ?( x , 果存在 ? 1

, xn ) ,使得
?) ? max L(? ) L(?
? ?Θ

? ?? ?( x1,?, xn ) 为 ? 的极大似然估计值,称相应的 那么称 ? ?( X1,?, X n ) 为 ? 的极大似然估计量。 ?

由高等数学知道,求 L(? ) 的最大值常常可以通过求
导数来解决。为了计算方便,一般通过解方程

d ln L (? ) ? 0 d?
来得到 ? 的极大似然估计,这是因为 L(? ) 与 ln L(? )在同
一处达到最大值。

求极大似然估计的一般步骤是: (1)写出似然函数

L(? ; x1 ,? xn ) ? ? ? f ( xi ,? ),
i ?1

n

? ??

(2)把似然函数取对数,写出 ln L(? ) ;
(3)求导数

d ln L (? ) ? 0 d?
(4)解出驻点,写出 ? 的极大似然估计。

例8.6

设 ( X1 ,?, X n ) 是取自总体X的一个样本,

X的密度函数为

?(? ? 1) x? , 0 ? x ? 1, f ( x) ? ? 其余. ? 0,
其中 ? 未知,? ? ?1 。求 ? 的极大似然估计量。

解 似然函数为

L(? ) ? ? [(? ? 1) xi ] ? (? ? 1) (? xi )?
?
n i ?1 i ?1

n

n

ln L(? ) ? n ln(? ? 1) ? ? ? ln xi
i ?1 n d n ln L(? ) ? ? ? ln xi ? 0 d? ? ? 1 i ?1

n

解得

? ? ?1 ?

n

? ln x
i ?1

n

i

于是,? 的极大似然估计量为

? ? ?1 ? ?

n

? ln X
i ?1

n

i

按照例8.3中给出的样本观测值:
0.2 0.4 0.5 0.7 0.8 0.8 0.9 0.9 推得未知参数 ? 的极大似然估计值为0.89。

1、如果总体参数有k个,它们是 ?1 ,?,? k ,那么记总 体X的密度函数(或概率函数)为 f ( x;?1 ,?,? k ),似然函数 为

L(?1 ,?,? k ; x1 ,? xn ) ? ? ? f ( xi ;?1 ,?,? k ),
i ?1

n

(?1 ,?,? k ) ? ?
这是一个多元函数。称满足

?1 ,?,? ?k ) ? max L(?1 ,?,? k ) L(?
(?1 ,?,? k )?Θ

?1 ,?,? ?k分别是 ?1 ,?,? k 的极大似然估计。 的?

2、如果需要估计的未知参数 ? ? g (?1 ,?,? k ) ,那么称

? ? g (? ? , ,? ?) ? 1 k
为 ? 的极大似然估计。

2 例8.4 设 ( X1 ,?, X n ) 是取自正态总体 N (?, ? ) 的

一个样本。
2 (1)当 ? 未知 (?? ? ? ? ?)但 ? 已知时,求 ? 的

极大似然估计量。
(2)当 ? 已知但 ? 2 未知 (? 2 ? 0) 时,求 ? 2 的极 大似然估计量。 (3)当 ? 与 ? 2 (?? ? ? ? ?, ? 2 ? 0) 均未知时, 求 ? 与? 的极大似然估计量。
2



(1)似然函数为
n 1 ? ? L(? ) ? (2?? 2 ) exp?? 2 ? ( xi ? ? ) 2 ? ? 2? i ?1 ? ? n 2

n 1 2 ln L( ? ) ? ? ln(2?? ) ? 2 2 2?

2 ( x ? ? ) ? i i ?1

n

d 1 n ln L( ? ) ? ? 2 ? 2( xi ? ? ) ? (?1)=0 d? 2? i ?1
解得

1 n ? ? ? xi ? x n i ?1

? ? X。 于是,? 的极大似然估计量为 ?

(2)当 ? 已知但 ? 2 未知 (? 2 ? 0) 时,似然函数为
n 1 ? 2 2 2? L(? ) ? (2?? ) exp?? 2 ? ( xi ? ? ) ? ? 2? i ?1 ? ? n 2

n n 1 2 ln L(? ) ? ? ln(2? ) ? ln ? ? 2 2 2 2?
2

2 ( x ? ? ) ? i i ?1

n

d d? d

2 ln L ( ? )?? 2

n 2? 2

?

1 2? 4

2 ( x ? ? ) ? i i ?1

n

n 1 2 2 2 2 由 解得 ,于是, ln L ( ? ) ? 0 ? ? ( x ? ? ) ? ? i 2 d? n i ?1

1 n 2 ? ? ? ( X ? ? ) 的极大似然估计量为 。 ? i n i ?1
2

2 2 ? ? ( ?? ? ? ? ? , ? ? 0)均未知时, (3)当 与

似然函数为
n 1 ? 2 2 2? L(? , ? ) ? (2?? ) exp?? 2 ? ( xi ? ? ) ? ? 2? i ?1 ? ? n 2

n n 1 2 ln L( ? , ? ) ? ? ln(2? ) ? ln ? ? 2 2 2 2?
2

2 ( x ? ? ) ? i i ?1

n

1 n ?? 2 ? ?? ln L( ? , ? ) ? ? 2 ? ( xi ? ? ) ? 0 ? i ?1 ? n ? n 1 2 2 ? ln L ( ? ) ? ? ? ( x ? ? ) ?0 ? i 2 2 4 ? 2? 2? i ?1 ? ??

由方程组解得 1 n ? ? ? xi ? x , n i ?1

1 n 2 ? ? ? ( xi ? x ) 2 ? sn n i ?1
2

2 于是, 。 ? 与? 2的极大似然估计量分别为 X 与 Sn

由于 ? ? ? 2 ,因此 ? 的极大似然估计量为 Sn。

例8.5 设 ( X1 ,?, X n )是取自总体X的一个样本, 总体 X ~ P(? ),其中 ? (? ? 0)未知, 求 (1)? 的极大似然估计量。

(2)P( X ? 0) 的极大似然估计量。

解 似然函数为

L (? ) ? e
因此

? n?

?
n

?

? xi
i ?1

n

x1!? xn !
n

ln L(? ) ? ?n? ? (? xi ) ln ? ? ln(? xi !)
i ?1 i ?1

d 1 n ln L(? ) ? ?n ? ? xi =0 d? ? i ?1
1 n ? ? X。 解得? ? ? xi ? x ,于是,? 的极大似然估计量为 ? n i ?1

(2)由于

0! 所以, P( X ? 0) 的极大似然估计量为 e? X 。

P( X ? 0) ?

?0

e ?? ? e ??

在例8.1(续)中,试问,平均每升自来水中大肠杆菌个 数为多少时,才能使得出现所给化验结果的概率最大? 按照极大似然估计的基本思想,这是要求 ? 的极大似

? ? x ? 1 ,因此,当平均每升自来水中有 然估计值。由于 ?
一个大肠杆菌时出现所给化验结果的概率最大。

从前面的例子看出,求未知参数的极大似然估计往 往归结为解一个方程(或方程组),必要时可借助于计算 机求其数值解。下面举两个不能用上述方法求极大似然 估计的例子。

例8.8 设 ( X1 ,?, X n ) 是取自总体X的一个样本,总

体 X ~ R(0,? ) ,其中 ? 未知,? ? 0 ,求? 的极大似然
估计量。



似然函数为

?? ? n , 0 ? x1 ,?, xn ? ? , L(? ) ? ? 其余. ? 0, 当 x1 ,?, xn 给定时,我们要问 ? 取何值时 L(? ) 最大?
一方面 ? ? n 随? 减小而增大,另一方面 ? 必须满足

0 ? x1 ,?, xn ? ? ,否则 L(? ) ? 0,它不会是最大值。

于是,使 L(? ) 最大的 ? 应该满足

(i) ? 尽量小;
(ii) ? ? xi,对一切 i ? 1,2,?, n.

xi 时, L(? ) 达到最大值。 这表明当 ? ? x( n ) ? max 1?i ? n

?? X 。 因此, ? 的极大似然估计量为 ? (n)

如果我们有了一组样本观测值 0.1 0.2 0.2 0.2 0.5,

那么 ? 的极大似然估计值为0.5。

按例8.2中的结果,? 的矩估计值为 2 x ? 2 ? 0.24 ? 0.48 。
可以看出,这个矩估计值明显地不合理,因为X的值域 为 (0, ? )。既然已经知道有一个样本观测值为0.5,那么 ? 必 定不小于0.5。

例8.9 为了估计鱼塘内鱼的条数 ? ,第一次从塘内捕 捞起 r ? 200 条,做上记号后放回塘中;然后再从塘中捕捞 起 t ? 500 条,结果发现有 x1 ? 200条标有记号。自然会猜 测,塘内有鱼

500 ? ? ? 200 ? ? 1000 100
条,这个方法蕴含了极大似然估计法的思想。

设X表示第二次捕捞起t条鱼中带有记号的条数。总体X服
从超几何分布,

? r ??? ? r ? ? ? x? ?? ?t?x? ? ? ? f ( x) P( X ? x) ? ? ?? ?? ? ? ?t ? ? ? ?
其中未知参数为正整数 ? 。从总体X中抽取大小为1的样本 X 1 似然函数为

(? ? r )[(? ? r ) ? 1]?[(? ? r ) ? (t ? x1 ) ? 1] L(? ) ? f ( x1 ) ? h( x1 ) ? (? ? 1) ?(? ? t ? 1)

?t? 其中,h( x1 ) ? ? ?r (r ? 1) ? (r ? x1 ? 1) 与 ? 无关。 ?x ? ? 1?

直接计算得到

rt ? ? x1 L(? ) ? 1? . L(? ? 1) ? [(? ? r ) ? (t ? x1 )]
rt 于是,当 ? ? 时, L(? ) ? L(? ? 1); x1 rt 当 ?? 时, L(? ) ? L(? ? 1); x1
当 ? ? rt 时, L(? ) ? L(? ? 1). x1

? 的极大似然估计为 这表明,

rt ? rt 的整数部分, 当 不是整数; ?X X1 ? 1 ? ? ?? rt ? rt 或 rt -1, 当 是整数. ? X1 X1 ? X1

这个例子也说明极大似然估计的不唯一。 矩法与极大似然法是两种不同的估计方法。对同一未知

参数,有时候它们的估计相同,有时候它们的估计不同。一
般在已知总体X的分布类型时,最好使用极大似然估计,当 然,先决条件是通过解方程(或方程组)或其他方法较易得到 极大似然估计。


相关文档

概率统计电子教案
概率统计电子教案(红15)
概率论电子教案,41
概率论与数理统计电子教案界面
概率统计电子教案(20)
概率统计电子教案(5)
概率统计电子教案(13)
概率统计电子教案(4)
学霸百科
新词新语
电脑版 | 学霸百科