信息論與編碼試卷及答案

1、1一、一、（11’）填空題）填空題（1）1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。（2）必然事件的自信息是0。（3）離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。（4）對于離散無記憶信源，當信源熵有最大值時，滿足條件為__信源符號等概分布_。（5）若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。（6）對于香農(nóng)編碼、費諾編碼和霍

2、夫曼編碼，編碼方法惟一的是香農(nóng)編碼。（7）已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測出_2_______個碼元錯誤，最多能糾正___1__個碼元錯誤。（8）設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R__小于___C（大于、小于或者等于），則存在一種編碼，當輸入序列長度n足夠大，使譯碼錯誤概率任意小。（9）平均錯誤概率不僅與信道本身的統(tǒng)計特性有關(guān)，還與___譯碼規(guī)則____________和___編碼

3、方法___有關(guān)3、（5?）居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)A表示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件，則P(A)=0.25p(B)=0.5p(B|A)=0.75（2分）故p(A|B)=p(AB)p(B)=p(A)p(B|A)p(B)=0.750.250.

4、5=0.375（2分）I(A|B)=log0.375=1.42bit（1分）四、四、（5?）證明：證明：平均互信息量同信息熵之間滿足I(XY)=H(X)H(Y)H(XY)證明：證明：32）由題意可知該信源為一階馬爾科夫信源。（2分）由（4分）得極限狀態(tài)概率（2分）（3分）3）（1分）119.02log)(121???XH?（1分）447.02log)(122????XH?。說明：當信源的符號之間有依賴時，信源輸出消息的不確定性減弱。而信