PDF《第五章：随机变量的收敛性》

第五章:随机变量的收敛性 ? 随机样本:IID样本 , ? 统计量:对随机样本的概括 ? Y为随机变量,Y的分布称为统计量的采样分布 ? 如:样本均值、样本方差、样本中值… ? 收敛性:当样本数量n趋向无穷大时,统计量的变化 ? 大样本理论、极限定理、渐近理论 ? 对统计推断很重要

1 2 n Y T X X X =

1 2 , .

.., n X X X ~ i X F 收敛性 ? 主要讨论两种收敛性 ? 依概率收敛 ? 大数定律:样本均值依概率收敛于分布的期望 ? 依分布收敛 ? 中心极限定理:样本均值依分布收敛于正态分布 例1:依概率收敛 ? 概率的频率解释:随着观测次数n的增加,频率将会逐渐稳定 到概率 ? 设在一次观测中事件A发生的概率为 ? 如果观测了n次,事件A发生了 次,则当n充分大时,A在次观测中 发生的频率 逐渐稳定到概率p . ? 那么 ? 不对,若?则对于 ,总存在 ,当时,有 成立 ? 但若取 , 由于 ? 即无论N多大,在N以后,总可能存在n ,使?所以 不可能在通常意义下收敛于p. ( ) p A = P A n ( ) n A f A n n =

0 ε ? >

0 N >

n N >

( ) n f A p ε ? <

( ) lim ? n n f A p →∞ = ( ) lim n n f A p →∞ = p ε <

( ) { } ( )

0 1

0 n n f A p = = ? >

P ( )

0 n f A = ( ) n f A 例2:依分布收敛 ? 考虑随机序列 ,其中 ? 直观: 集中在0处, 收敛到0 ? 但()()20nnXXVPεε?>

≤()~0,1 n X N n n X (Chebyshev不等式)

2 1

0 n ε = >

n X

1 2 , ..., n X X X 两种收敛的定义 ? 5.1 定义:令 为随机变量序列,X为另 一随机变量,用Fn表示Xn的CDF,用F表示X的CDF ?

1、如果对每个 ,当时, ? 则Xn依概率收敛于X ,记为 . ?

2、如果对所有F的连续点t,有?则Xn依分布收敛于X ,记为 .

1 2 , ..., n X X X

0 ε >

n → ∞ ( )

0 n X X ε ? >

→ P P n X X ?? → n X X ≈ ( ) ( ) lim n n F t F t →∞ = 同教材上 两种收敛的定义 ? 当极限分布为点分布时,表示为 ? 依概率收敛: ? 依分布收敛: ( ) 1, , P P n n X c and X X then X c P = = ?? → ?? → ( ) 1, , n n X c and X X then X c = = ≈ ≈ P 其他收敛 ? 还有一种收敛:均方收敛(L2收敛, converge to X in quadratic mean) ? 对证明概率收敛很有用 ? 当极限分布为点分布时,记为 ? 对应还有:L1收敛(converge to X in L1 ) ( )

2 0, , qm n n if X X as then X X E → qm n X c ?? →

1 0, , L n n if X X as then X X E → ( )

2 lim

0 n n X X E →∞ ? = lim

0 n n X X E →∞ ? = ? 依概率收敛 ? 随机变量序列 ,当对任意 , ? 则称随机变量序列 几乎处处依概率收敛到X (converge almost surely to X) ,记为: ? 几乎处处收敛:比依概率收敛更强 其他收敛

0 ε >

( ) lim

0 n n X X P ε →∞ ? >

= . . a s n X X ??→

1 2 , ..., n X X X ( ) ( ) { } ( ) : lim

0 n n X X P ω ω ω →∞ = = 或12 n X X X ( ) lim

0 n n X X P ε →∞ { } ( ) lim :

0 n n X X P ω ω ε →∞ ? >

= 或 各种收敛之间的关系 ? 点分布,c为实数 L1 almost surely (L2) ( )

1 X c P = = 反过来不成立! Quadratic mean probability distribution Point-mass distribution 例:伯努利大数定律 ? 设在一次观测中事件A发生的概率为 ,如果观 测了n次,事件A发生了 次,则当n充分大时,A在次观 测中发生的频率 逐渐稳定到概率p . ? 即对于 , ? 表示当n充分大时,事件发生的频率 与其概率p存在较 大偏差的可能性小.

0 ε ? >

lim

0 A n n p n ε →∞ ? ? ? ≥ = ? ? ? ? P ( ) p A = P A n ( ) n A f A n n = A n n 证明: ~ , , ,