信息論與編碼期末考試題----學(xué)生復(fù)習(xí)用

1、第 1 頁 共 23 頁（一） （一）一、判斷題 一、判斷題.1. 當(dāng)隨機(jī)變量 和 相互獨(dú)立時(shí)，條件熵 等于信源熵 . （ ） X Y ) | ( Y X H ) (X H2. 由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.

2、 （ ）3.一般情況下，用變長編碼得到的平均碼長比定長編碼大得多. （ ）4. 只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信. （ ） 5. 各碼字的長度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件. （ ）6. 連續(xù)信源和離

3、散信源的熵都具有非負(fù)性. （ ）7. 信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確 定性就越小，獲得的信息量就越小. 8. 漢明碼是一種線性分組碼. （ ）9. 率失真函數(shù)的最小值是 .

4、 （ ） 010.必然事件和不可能事件的自信息量都是 . （ ） 0二、填空題 二、填空題1、碼的檢、糾錯(cuò)能力取決于 . 2、信源編碼的目的是 ；信道編碼的目的是 .3、把信息組原封不動(dòng)地搬到碼字前 位的 碼就叫做

5、 . k ) , ( k n4、香農(nóng)信息論中的三大極限定理是 、 、 5、設(shè)信道的輸入與輸出隨機(jī)序列分別為 和 ，則 成立的 X Y ) , ( ) , ( Y X NI Y X I N N ?條件 ..6、對(duì)于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是 .7、某二元信源 ，其失真矩陣

6、，則該信源的 = . 0 1( ) 1/ 2 1/ 2XP X? ? ? ? ? ? ? ? ? ? ? ? ?00a D a? ? ? ? ? ? ?max D三、計(jì)算題 三、計(jì)算題.1、某信源發(fā)送端有 2 種符號(hào) , ；接收端有 3 種符號(hào) ，轉(zhuǎn)移概率矩陣為 i x ) 2 , 1 ( ? i a x p ? ) ( 1 i y ) 3 , 2 , 1 ( ? j. 1/ 2 1/ 2 01/ 2 1/ 4 1/ 4 P ?

7、? ? ? ? ? ?（1） 計(jì)算接收端的平均不 確定度 ； ( ) H Y（2） 計(jì)算由于噪聲產(chǎn)生的 不確定度 ； ( | ) H Y X（3） 計(jì)算信道容量以及最 佳入口分布.2、一階馬爾可夫信源的狀態(tài) 轉(zhuǎn)移圖如右圖所示， 信源 的符號(hào)集為 . X } 2 , 1 , 0 {（1）求信源平穩(wěn)后的概率分 布；（2）求此信源的熵；（3）近似地認(rèn)為此信源為無 記憶時(shí)，符號(hào)的概率分布為平 0 121-pp/21-pp/2p/2p/2p/2p

8、/21-p圖2-13第 3 頁 共 23 頁四、某信源輸出 A、B、C、D、E 五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為 1/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為 0.5 。計(jì)算： s ?（1）信息傳輸速率 。 （5 分） t R（2）將這些數(shù)據(jù)通過一個(gè)帶寬為 B=2000kHz 的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為 。試計(jì)算 60 10 W n Hz? ?正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率 P。 （

9、5 分）五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為 。 ? ? ? ? ? ? ? ? 1 1 2 1 1 2 2 22 1 | , | , | 1, | 03 3P S S P S S P S S P S S ? ? ? ?(1) 畫出狀態(tài)轉(zhuǎn)移圖。(4 分)(2) 計(jì)算穩(wěn)態(tài)概率。(4 分)(3) 計(jì)算馬爾可夫信源的極限熵。(4 分)(4) 計(jì)算穩(wěn)態(tài)下 , 及其對(duì)應(yīng)的剩余度。(4 分) 1 H 2 H六、設(shè)有擾信道的傳輸情況分別如圖所示。試求

10、這種信道的信道容量。1 21 21 21 21 21 21 21 2X Y七、設(shè) X、Y 是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取 0 或 1 的概率相等。定義另一個(gè)二元隨機(jī)變量 Z=XY(一般乘積)。試計(jì)算(1) ? ? ? ? , ; H X H Z(2) ? ? ? ? , ; H XY H XZ(3) ? ? ? ? | , | ; H X Y H Z X(4) ; ? ? ? ? ; , ; I X Y I X Z八、設(shè)離散