信息論題

1、習(xí)題一、填空1、1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。2、事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù)來描述的。3、單符號離散信源一般用隨機(jī)變量描述，而多符號離散信源一般用隨機(jī)矢量描述。4、一個隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負(fù)值。5、必然事件的自信息是0。6、不可能事件的自信息量是∞。7、兩個相互獨立的隨機(jī)變量的聯(lián)合自信息量等于兩個自信息量之和。8、數(shù)據(jù)

2、處理定理：數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。9、離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。10、離散平穩(wěn)有記憶信源的極限熵，??H)(lim121???NNNXXXXH?。11、對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。12、一維連續(xù)隨即變量X在[a，b]區(qū)間內(nèi)均勻分布時，其信源熵為log2（ba）。13、平均功率為P的高斯分布的

3、連續(xù)信源，其信源熵，Hc（X）=eP?2log212。14、對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時連續(xù)信源熵具有最大值。15、對于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時，信源熵有最大值。16、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。17、若一維隨即變量X的取值區(qū)間是[0，∞]，其概率密度函數(shù)為mxemxp??1)(，其中：0?x，m是X的數(shù)學(xué)期望，則X的信源熵?)(XHCme2log。18、根據(jù)輸入輸

4、出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。19、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。20、具有一一對應(yīng)關(guān)系的無噪信道的信道容量C=log2n。21、對于離散無記憶信道和信源的N次擴(kuò)展，其信道容量CN=NC。22、信道矩陣??????10002121代表的信道的信道容量C=1。23、信道矩陣??????????100101代表的信道的信道容量C=1。24、高斯加性噪聲信道中，信道帶

5、寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。25、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。26、單符號的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個符號xi，信宿再現(xiàn)yj所引起的誤差或失真。27、漢明失真函數(shù)d（xi，yj）=?????jiji10。28、平方誤差失真函數(shù)d（xi，yj）=（yjxi）2。29、如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。22、求解率失真函數(shù)

6、的問題，即：在給定失真度的情況下，求信息率的極小值。對23、當(dāng)p（xi）、p（yjxi）和d（xi，yj）給定后，平均失真度是一個隨即變量。錯24、率失真函數(shù)對允許允許的平均失真度具有上凸性。對25、率失真函數(shù)沒有最大值。錯26、率失真函數(shù)的最小值是0。對27、率失真函數(shù)的值與信源的輸入概率無關(guān)。錯28、信源編碼是提高通信有效性為目的的編碼。對29、信源編碼通常是通過壓縮信源的冗余度來實現(xiàn)的。對三、簡答1、簡述自信息的性質(zhì)。2、簡述信源

7、熵的基本性質(zhì)。3、簡述信源熵、條件熵、聯(lián)合熵和交互熵之間的關(guān)系。4、簡述一般離散信道容量的計算步驟。5、簡述率失真函數(shù)的性質(zhì)。6、簡述求解一般離散信源率失真函數(shù)的步驟。7、試比較信道容量與信息率失真函數(shù)。四、證明1、最大離散熵定理：信源X中n個不同離散消息時，信源熵H（X）有nXH2log)(?當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率全相等時，上式取等號。2、證明平均互信息量的極值性，即：)()(XHYXI?，并說明等式成立的條件。3、證明條件熵

8、小于信源熵，即：)()(XHYXI?，并說明等式成立的條件。4、設(shè)X=X1，X2，，XN是平穩(wěn)離散有記憶信源，試證明：H（X1X2XN）=H（X1）H（X2X1）H（XNX1X2XN1）五、計算1、設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時刻且不論以前發(fā)生過什么符號，均按P（0）=0.4P(1)=0.6的概率發(fā)出符號。試計算：（1）H（X2）（2）H（X3X1X2）（3）)(limXHN??2、黑白氣象傳真圖的消息只有黑色和白色兩

9、種，設(shè)黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7，且消息前后有關(guān)聯(lián)，其以來關(guān)系為P（白白）=0.9，P（黑白）=0.1，P（白黑）=0.2。P（黑黑）=0.8，求此一階馬爾可夫信源的熵H2（X）。3、已知隨即變量X和Y的聯(lián)合分布如下所示：01013131013試計算：H（X）、H（Y）、H（XY）、H（XY）、H（YX）、H（X；Y）4、已知信源X和條件概率P（YX）如下：?????????????2121)(21xxXPX????