PDF《《信息论基础》测试题四 一、填空、 （每空 2 分,共40 分）》

第1页共7页《信息论基础》测试题四

一、填空、 (每空

2 分,共40 分)

1、根据输入和输出信号的特点,信道可以为 、 、 、 .

2、研究这样一个概括性很强的通信系统,其目的就是要找到信息传 输过程中的共同规律,以提高信息传输的 性、 性、 性和 性.

3、二元对称信道,简记为 BSC.它的输入符号 X 取值于{0,1};

输 出符号Y 取值于{0,1}.此时, ,

2 ? ? s r 而且

1 ,

0 2

2 1

1 ? ? ? ? b a b a .有 传递概率 p P a b P p P a b P p p P a b P p p P a b P ? ? ? ? ? ? ? ? ? ? ? ? ? ? )

0 /

1 ( ) / ( )

1 /

0 ( ) / (

1 )

1 /

1 ( ) / (

1 )

0 /

0 ( ) / (

1 2

2 1

2 2

1 1 ,求二元对称信道的传递概率矩 阵为 .

4、 ? n n G G ? ? ? , ? n n G G ? ? ? .

5、例如有两个信源,其概率空间分别为 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

5 .

0 5 .

0 ) ( ,

01 .

0 99 .

0 ) (

1 2

1 b b y P Y a a x P X ,则信息熵分别为 ) (x H = ) (y H = .

6、例如,有一布袋内放

100 个球,其中

80 个球是红色的,20 个球 是白色的.若随意摸取一个球,猜测是什么颜色,这一随机事件的概 率空间为 ? ? ? ? ? ? ? ) (x P X ? ? ? ? ? ?

2 .

0 8 .

0 2

1 a a ,其中摸出红球获的信息量为 , 第2页共7页摸出白球获的信息量为 .

7、若码符号集中符号数

2 ? r 称为 .

8、若分组码中所有码字的码长都相同称为 码, 否则称为 码.

9、1奈特= 比特.1哈特= 比特.

二、计算题(20 分)

1、设有一个信源,它产生 0,1 序列的消息.它在任意时间而且不论 以前发生过什么符号,均按

6 .

0 )

1 ( ,

4 .

0 )

0 ( ? ? P P 的概率发出符号. (1)试问这个信源是否平稳的? (2)试计算 ) | ( ), (

2 1

3 2 X X X H X H 及)(lim X HN N ? ?? ? . (3)试计算 ) (

4 X H 并写出

4 X 信源中可能有的所有符号. 第3页共7页

2、设二元对称信道的传递矩阵为 ? ? ? ? ? ? ? ? ? ? ? ?

3 2

3 1

3 1

3 2 若,41)1(,4/3)0(??PP求);

()/(), / ( ), ( Y X I x y H y x H x H 和;

第4页共7页

三、应用题(30 分)

1、有一信源,它有六个可能的输出,其概率分布如下表所示,表中 给出了对应的码 A、B、C、D、E 和F. (1) 、求这些码中那些是唯一可译码. (2) 、求那些是非延长码(即时码) . (3) 、对所有唯一可译码求出其平均码长L . 消息 ) ( i a p A B C D E F

1 a

2 1

000 0

0 0

0 0

2 a

4 1

001 01

10 10

10 100

3 a

16 1

010 011

110 110

1100 101

4 a

16 1

011 0111

1110 1110

1101 110

5 a

16 1

100 01111

11110 1011

1110 111

6 a

16 1

101 011111

111110 1101

1111 011 第5页共7页

2、有两个信源 X 和Y 如下: ? ? ? ? ? ? ? ? ? ? ? ? ?

01 .

0 10 .

0 15 .

0 17 .

0 18 .

0 19 .

0 20 .

0 ) (

7 6

5 4

3 2

1 x x x x x x x x P X (1)分别用霍夫曼码编成二元变长唯一可译码, 并计算其编码效率. (2)分别用费诺编码方法编成二元变长唯一可译码,并计算编码效 率. 第6页共7页

3、设有一连续随机变量,其概率密度函数为 ? ? ? ? ? ? ? 取其他值 x x x A x p

0 2 cos ) ( ? 又有?? ?

2 2

1 ) ( ? ? dx x p .试求这随机变量的熵 第7页共7页

四、证明题(10 分) 证明 ) ( ) ( ) ( ) ;

( XY H Y H X H Y X I ? ? ?