信息論習題集

1、信息論習題集信息論習題集第二章第二章2.1同時擲2顆骰子，事件A、B、C分別表示：（A）僅有一個骰子是3；（B）至少有一個骰子是4；（C）骰子上點數的總和為偶數。試計算A、B、C發(fā)生后所提供的信息量。2.3一信源有4種輸出符號，=0，1，2，3，且p()=14。設信源向信宿發(fā)出，但由于傳輸中ixiix3x的干擾，接收者收到后，認為其可信度為0.9。于是信源再次向信宿發(fā)送該符號（），信宿準確無誤3x3x收到。問信源在兩次發(fā)送中發(fā)送的信息量

2、各是多少？信宿在兩次接收中得到的信息量又各是多少？2.5一信源有6種輸出狀態(tài)，概率分別為=0.5，=0.25，=0.125，==0.05，=0.025()pA()pB()pC()pD()pE()pF試計算。然后求消息ABABBA和FDDFDF的信息量（設信源先后發(fā)出的符號相互獨立），并將之()HX與長度為6的消息序列信息量的期望值相比較。2.6中國國家標準局所規(guī)定的二級漢字共6763個。設每字使用的頻度相等，求一個漢字所含的信息量。設每

3、個漢字用一個1616的二元點陣顯示，試計算顯示方陣所能表示的最大信息量。顯示方陣的利用率?是多少？2.7已知信源發(fā)出和兩種消息，且。此消息在二進制對稱信道上傳輸，信1a2a12()()12papa??道傳輸特性為，。求互信息量和。1122(|)(|)1pbapba????1221(|)(|)pbapba???11()Iab12()Iab2.8已知二維隨機變量的聯(lián)合概率分布為：，XY()ijpxy(00)(11)18pp??，求。(01)

4、(10)38pp??(|)HXY2.13有兩個二元隨機變量和，它們的聯(lián)合概率分布如表2.5所列，同時定義另一隨機變量XY（一般乘積）。試計算：ZXY?A表2.5（1）熵；()()()()()()HXHYHZHXZHYZHXYZYX0101838138182.24設隨機變量的概率分布為。隨機變量是的函數，其分布為X222111110101010101010??????YX將的4個最小的概率分布合并為一個：。X222410101010???

5、???（1）顯然，請解釋原因；2()log7HX?（2）請解釋為什么？2()log5HX?（3）計算，；()HX()HY（4）計算并解釋其結果。(|)HXY第三章第三章3.2有一無記憶信源的符號集為，已知信源的概率空間為。??01011344XP???????????????（1）求信源熵；（2）求由個和個構成的某一特定序列自信息量的表達式；m“0“(100)m?“1“（3）計算由100個符號構成的符號序列的熵。3.3有一離散無記憶信源

6、，其輸出為，相應的概率為，，，設計兩??012X?014p?114p?212p?個獨立的試驗去觀察它，其結果分別為，，已知條件概率如表3.1所列。??101Y???201Y?表3.1（1）求和，并判斷哪一個實驗好些；1()IXY2()IXY（2）求，并計算做和兩實驗比做或中的一個實驗可多得多少關于的信息；12()IXYY1Y2Y1Y2YX（3）求和，并解釋它們的含義。12(|)IXYY21(|)IXYY3.4某信源符號集的概率分布和對應