信息論ppt第四章信源及信源熵

1、第四章 信源及信源熵,主要內(nèi)容：如何描述信源(信源的數(shù)學(xué)建模問(wèn)題)；如何定量描述信源輸出信息的能力；怎樣有效地表示信源輸出的消息，也就是信源編碼問(wèn)題。,第一節(jié) 信源的分類及其數(shù)學(xué)模型,根據(jù)信源輸出的消息在時(shí)間和取值上的離散或連續(xù)進(jìn)行分類，如下表所示： 此外，還可以根據(jù)各維隨機(jī)變量的概率分布是否隨時(shí)間的推移而變化，將信源分為平穩(wěn)信源和非平穩(wěn)信源。根據(jù)隨機(jī)變量之間是否統(tǒng)計(jì)獨(dú)立，將信源分為有記憶信源和無(wú)記憶信

2、源。,實(shí)際信源分類如下：,,第二節(jié) 離散單符號(hào)信源,輸出離散取值的單個(gè)符號(hào)的信源稱為離散單符號(hào)信源，它是最簡(jiǎn)單、最基本的信源，是組成實(shí)際信源的基本單元，用一個(gè)離散型隨機(jī)變量表示。 信源所有可能輸出的消息和消息所對(duì)應(yīng)的概率共同組成的二元序 對(duì)稱為信源的概率空間。,,,信源輸出的所有消息的自信息的統(tǒng)計(jì)平均值定義為信源的平均自信息量(信源熵)，它表示離散信源的平均不確定性。例1：二

3、元信源 ，求 。,,,,第三節(jié) 離散多符號(hào)信源,前面介紹的單符號(hào)信源是最簡(jiǎn)單的信源模型，用一個(gè)離散隨機(jī)變量表示。實(shí)際信源輸出的往往是符號(hào)序列，稱為離散多符號(hào)信源，通常用離散隨機(jī)變量序列(隨機(jī)矢量)來(lái)表示： 。例如，電報(bào)系統(tǒng)發(fā)出的是一串有無(wú)脈沖的信號(hào)(有脈沖表示1，無(wú)脈沖表示0)，因此電報(bào)系統(tǒng)是輸出一串0、1序列的二元信源

4、。 為簡(jiǎn)單起見(jiàn)，這里只研究離散平穩(wěn)信源，也就是統(tǒng)計(jì)特性不隨時(shí)間改變的信源。,,定義：對(duì)于離散隨機(jī)變量序列 在任意兩個(gè)不同時(shí)刻 ，( 為大于1的任意整數(shù))，信源發(fā)出的消息序列的概率分布完全相同，即對(duì)于任意的 ， 具有相同的概率分布，也就是

5、 即各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)的信源稱為離散平穩(wěn)信源。,,,,,,,,,,由上述定義以及聯(lián)合概率與條件概率的關(guān)系可得 ，于是，容易推出

6、 對(duì)于離散單符號(hào)信源，用信息熵來(lái)表示信源的平均不確定性。對(duì)于離散多符號(hào)信源，怎樣表示信源的平均不確定性呢？我們引入熵率的概念，它表示信源輸出的符號(hào)序列中，平均每個(gè)符號(hào)所攜帶的信息量。,,,,,,,,,定義：隨機(jī)變量序列中，對(duì)

7、前N個(gè)隨機(jī)變量的聯(lián)合熵求平均： 稱為平均符號(hào)熵。如果當(dāng)時(shí) 上式極限存在，則 稱為熵率，或稱為極限熵，記為,,,,,一、離散平穩(wěn)無(wú)記憶信源,離散平穩(wěn)無(wú)記憶信源輸出的符號(hào)序列是平穩(wěn)隨機(jī)序列，并且符號(hào)之間是無(wú)關(guān)的，即統(tǒng)計(jì)獨(dú)立的。為了研究離散平穩(wěn)無(wú)記憶信源的熵率，假定信源每次輸出的是N長(zhǎng)符號(hào)序列，這可以看作是一個(gè)新信源，稱為離散平穩(wěn)無(wú)記憶信源的N次擴(kuò)展信源，它的數(shù)學(xué)模型是N維離散隨機(jī)

8、變量序列(隨機(jī)矢量)： ，其中每個(gè)隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立。同時(shí)，由于是平穩(wěn)信源，每個(gè)隨機(jī)變量的統(tǒng)計(jì)特性都相同，因此還可以把一個(gè)輸出N長(zhǎng)符號(hào)序列的信源記為：,,,根據(jù)統(tǒng)計(jì)獨(dú)立的多維隨機(jī)變量的聯(lián)合熵和信息熵之間的關(guān)系，可以推出： ， 即N次擴(kuò)展信源的熵等于單符號(hào)離散信源熵的N倍，信源輸出的長(zhǎng)

9、符號(hào)序列平均提供的信息量是單符號(hào)離散信源平均每個(gè)符號(hào)所提供信息量的N倍。 離散平穩(wěn)無(wú)記憶信源的熵率： 。例1：設(shè)有一離散無(wú)記憶信源X，其概率空間為 求該信源的熵率及其二次擴(kuò)展信源的熵。,,,,二、離散平穩(wěn)有記憶

10、信源,假定信源輸出N長(zhǎng)的符號(hào)序列，則它的數(shù)學(xué)模型是N維隨機(jī)變量序列： ，其中每個(gè)隨機(jī)變量之間存在統(tǒng)計(jì)依賴關(guān)系。 對(duì)于相互間有依賴關(guān)系的N維隨機(jī)變量的聯(lián)合熵，具有如下的熵函數(shù)鏈條法則： 即N維隨機(jī)變量的聯(lián)合熵等于起始時(shí)刻隨機(jī)變量 的熵與各階條件熵之和。,,,,定理1：對(duì)于離散平穩(wěn)信源，有以下幾個(gè)結(jié)論：,(1)條件熵

11、 隨的增加是遞減的；(2)N給定時(shí)平均符號(hào)熵大于等于條件熵，即 ；(3)平均符號(hào)熵 隨N的增加是遞減的；(4)如果 ，則 存在，并且,,,,,,,注：該定理表明，由于信源輸出序列前后符號(hào)之間的統(tǒng)計(jì)依賴關(guān)系，隨著序列長(zhǎng)度N的增加，也就是隨著統(tǒng)計(jì)約束條件不斷

12、增加,平均符號(hào)熵 及條件熵 均隨之減小。當(dāng) 時(shí)， ,即為熵率，它表示信源輸出的符號(hào)序列中，平均每個(gè)符號(hào)所攜帶的信息量。所以在求熵率時(shí)可以有兩種途徑：可以求它的極限平均符號(hào)熵，也可以求它的極限條件熵，即,,,,,,例2：設(shè)有一離散有記憶信源X的概率空間為

13、 ， 并設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān)，其關(guān)聯(lián)程度由條件概率 給出，如下所示： ，求：(1)此信源每發(fā)出一條消息提供的平均信息 量 ； (2)此信源的平均符號(hào)熵 (3)此信源的極限熵

14、 。,,,,,,,作業(yè)：1. 證明 ；2. 有一無(wú)記憶信源的符號(hào)集為{0，1}，已知信源的概率空間為 ，(1)求信源熵；(2)求由m個(gè)“0”和(100-m)個(gè)“1”構(gòu)成的某一特定序列的自信息量的表達(dá)式；(3)計(jì)算由100個(gè)符號(hào)構(gòu)成的符號(hào)序列

15、的熵。,,,三、馬爾可夫信源,如果信源在某時(shí)刻發(fā)出的符號(hào)僅與在此之間發(fā)出的有限個(gè)符號(hào)有關(guān)，而與更早些時(shí)候發(fā)出的符號(hào)無(wú)關(guān)，這類信源稱為馬爾可夫信源。如果信源在某時(shí)刻發(fā)出的符號(hào)僅與在之前發(fā)出的m個(gè)符號(hào)有關(guān)，則稱該信源為m階馬爾可夫信源，其熵率為： (馬爾可夫性)

16、 (平穩(wěn)性)。 通常記為 。,,,,,對(duì)于馬爾可夫信源，把前面若干個(gè)符號(hào)看作一個(gè)狀態(tài)，(若信源有q個(gè)可能的輸出符號(hào)，則一共有 個(gè)可能的狀態(tài))，可以認(rèn)為，信源在某一時(shí)刻發(fā)出某一符號(hào)的概率除了與該符號(hào)有關(guān)外，只與該時(shí)刻信源所處的狀態(tài)有關(guān)，而與過(guò)去的狀態(tài)無(wú)關(guān)。信源發(fā)出一個(gè)符號(hào)后，信源所處的狀態(tài)即發(fā)生改變，這些狀態(tài)的變化組成了馬爾可夫鏈。因此，可把對(duì)馬爾可夫信源的研究轉(zhuǎn)

17、化為對(duì)馬爾可夫鏈的研究。,,如圖所示，信源在某時(shí)刻處于某一狀態(tài) ，當(dāng)它發(fā)出一個(gè)符號(hào) 后，所處的狀態(tài)就變了，轉(zhuǎn)移到狀態(tài) ,因此,信源輸出的符號(hào)序列 變換成信源狀態(tài)序列 ，于是一個(gè)討論信源輸出符號(hào)不確定性的問(wèn)題變成討論信源狀態(tài)轉(zhuǎn)換的問(wèn)題。,,,,,,狀態(tài)之間的一步轉(zhuǎn)移概率 表示前一時(shí)刻(m時(shí)刻)信源處于 狀態(tài)下

18、，在下一時(shí)刻(m+1時(shí)刻)信源處于 狀態(tài)的概率?？梢杂民R爾可夫鏈的狀態(tài)轉(zhuǎn)移圖來(lái)描述離散馬爾可夫信源的狀態(tài)轉(zhuǎn)移概率。,,,,例1：設(shè)一個(gè)二元一階馬爾可夫信源，信源符號(hào)集為 ，信源輸出符號(hào)的條件概率為： 求狀態(tài)轉(zhuǎn)移概率，并畫(huà)出狀態(tài)轉(zhuǎn)移圖。例2：設(shè)有一個(gè)二元二階馬爾可夫信源，其信源符號(hào)集為 ， 輸出符號(hào)的條件概率為： 求狀態(tài)轉(zhuǎn)移概率矩陣，并畫(huà)出狀態(tài)轉(zhuǎn)移圖。,,,,

19、,,,對(duì)于一個(gè)m階馬爾可夫信源，它的概率空間可以用它的所有可能的輸出符號(hào)及輸出符號(hào)的條件概率表示： ，令 ， ，則由信源輸出符號(hào)的條件概率 可以確定狀態(tài)轉(zhuǎn)移概率 ，

20、 ，從而得到馬爾可夫信源的狀態(tài)空間： 狀態(tài)空間由所有狀態(tài)及狀態(tài)間的狀態(tài)轉(zhuǎn)移概率組成。因此，通過(guò)引入狀態(tài)轉(zhuǎn)移概率，可以把對(duì)馬爾可夫信源的研究轉(zhuǎn)化為對(duì)馬爾可夫鏈的研究。,,,,,,,,下面主要研究遍歷的m階馬爾可夫信源的熵率。,當(dāng)時(shí)間足夠長(zhǎng)后，遍歷的馬爾可夫信源可以視作平穩(wěn)信源來(lái)處理，又因?yàn)閙階馬爾可夫信源發(fā)出的符號(hào)只與最近的m個(gè)符號(hào)有關(guān)，所以

21、 即m階馬爾可夫信源的極限熵 等于條件熵 。 表示已知前面m個(gè)符號(hào)的條件下，輸出下一個(gè)符號(hào)的平均不確定性。,,,,,對(duì)于齊次遍歷的馬爾可夫鏈，其狀態(tài) 由 唯一確定，因此有 ，所以 其中，

22、 是馬爾可夫鏈的平穩(wěn)分布或狀態(tài)極限概率； 表示信源某一狀態(tài) 時(shí)發(fā)出下一個(gè)符號(hào)的平均不確定性； 表示下一步狀態(tài)轉(zhuǎn)移概率。,,,,,,,,,例3：求例2中二階馬爾科夫信源的極限熵。例4：設(shè)有一信源，它在開(kāi)始時(shí)以 ， ， 的概率發(fā)出 ，如果 為 時(shí)，則 為 的概率均為 ；如果 為 時(shí)， 為 的概率均為

23、；如果 為 時(shí)，則 為 的概率為 ，為 的概率為0，并且后面發(fā)出 的概率只與 有關(guān)，又 ， 。畫(huà)出此一階馬爾科夫信源的狀態(tài)轉(zhuǎn)移圖，寫(xiě)出其一步轉(zhuǎn)移概率矩陣，并求該信源的極限熵；,,,,,,,,,,,,,,,,,,,,,,,,,練習(xí)：一個(gè)馬爾可夫過(guò)程的基本符號(hào)為0、1、2，這三個(gè)符號(hào)等概率出現(xiàn)，并且具有相同的轉(zhuǎn)移概率。畫(huà)出一階馬

24、爾可夫過(guò)程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下二階馬爾可夫過(guò)程的信源極限熵。作業(yè)：1. 一階馬爾科夫信源X的符號(hào)集為{0,1,2}，轉(zhuǎn)移概率矩陣為 ， 畫(huà)出狀態(tài)轉(zhuǎn)移圖，并求信源的極限熵。2. 給定狀態(tài)轉(zhuǎn)移概率矩陣 ，求：(1)此二狀態(tài)馬爾可夫鏈的熵率 ；(2)此熵率的極大值及相應(yīng)的p。,,,,第

25、四節(jié) 信源剩余度,由上一節(jié)我們知道，一般平穩(wěn)信源可以用m階馬爾可夫信源的極限熵 近似表示一般離散平穩(wěn)有記憶信源每發(fā)出一個(gè)符號(hào)提供的平均信息量 。若令 表示平穩(wěn)有記憶信源X(消息符號(hào)集 )在起始時(shí)刻的最大熵值 ，則有,,,,,,,這表明，信源的記憶長(zhǎng)度越大，信源的極限熵就越小，信源每輸出一個(gè)消息符號(hào)提供的平均信息量隨著記憶長(zhǎng)度的增加而減小，只有當(dāng)信源輸

26、出的符號(hào)之間相互統(tǒng)計(jì)獨(dú)立，不存在統(tǒng)計(jì)依賴關(guān)系，并且消息符號(hào)是均勻分布(即等概率分布)時(shí)，信源的信息熵才達(dá)到最大值，每輸出一個(gè)消息符號(hào)提供最大的平均信息量。在信源消息符號(hào)組成的符號(hào)序列中，符號(hào)之間的依賴關(guān)系越強(qiáng)，信源每輸出一個(gè)符號(hào)提供的平均信息量就越小。為了更好地描述信源的這種相關(guān)性，我們引入信源的剩余度的概念。,定義：設(shè)離散有記憶信源X的極限熵為 ，若把這個(gè)信源當(dāng)作無(wú)記憶的離散等概信源時(shí)，其最大熵值 ，定義比

27、值 為這個(gè)離散有記憶信源的相對(duì)率，稱 為離散平穩(wěn)有記憶信源的剩余度，有時(shí)又稱為冗余度。,,,,,注：由信源剩余度的定義可知，信源剩余度的大小能很好地反映離散信源輸出的消息符號(hào)序列中消息符號(hào)之間的依賴關(guān)系的強(qiáng)弱。剩余度 越大，表明信源的實(shí)際熵 越小。這表明信源符號(hào)之間的依賴關(guān)系越強(qiáng)，即消息符號(hào)之間的記憶長(zhǎng)度越長(zhǎng)；反之，剩余度越小，這表明信源的消息符號(hào)之間的依賴關(guān)系就越弱，即消息符號(hào)之間的記憶長(zhǎng)度越短。當(dāng)剩余度

28、等于零時(shí)，信源的信息熵就等于極大值 ，這表明信源符號(hào)之間不但統(tǒng)計(jì)獨(dú)立無(wú)記憶，而且各消息符號(hào)之間還是等概率分布。所以我們可以用剩余度來(lái)衡量信源輸出的消息符號(hào)序列中各消息符號(hào)之間的依賴程度。,,,,,例1：設(shè)一階平穩(wěn)馬爾可夫信源X，其消息符號(hào)集 ，若已知初始概率如下： ， ，轉(zhuǎn)移概率矩陣為：

29、 (1)求此馬爾可夫信源的極限熵 ；(2)求 和它們所對(duì)應(yīng)的剩余度。作業(yè)：一個(gè)馬爾可夫過(guò)程的基本符號(hào)為0、1、2，這三個(gè)符號(hào)等概率出現(xiàn)，并且具有相同的轉(zhuǎn)移概率。畫(huà)出一階馬爾可夫過(guò)程的狀態(tài)圖，并求穩(wěn)定狀態(tài)下二階馬爾可夫過(guò)程的信源極限熵和信源剩余度。,,,,,,,在信息傳播的過(guò)程中，從提高信息效率的觀點(diǎn)出發(fā)，總希望減少或去掉剩余度；但從提高抗干擾能力的角度來(lái)看，

30、總希望增加或保留信源的剩余度。其原因是，從經(jīng)濟(jì)和時(shí)間的角度來(lái)看，總希望在保證傳輸?shù)男畔⒃敢獠蛔兊那闆r下，盡可能地讓消息符號(hào)簡(jiǎn)潔，剩余度減少。但剩余度也有它的作用，對(duì)于剩余度較大的消息其抗干擾的能力越強(qiáng)，當(dāng)干擾使消息在傳輸?shù)倪^(guò)程中出現(xiàn)錯(cuò)誤時(shí)，我們能從它的上下關(guān)聯(lián)中糾正錯(cuò)誤，提高抗干擾的能力。例如，在文電報(bào)中，把“中華人民共和國(guó)”壓縮成“中國(guó)”愿意沒(méi)有變，而電報(bào)內(nèi)容變得簡(jiǎn)潔了，剩余度減少了許多，但這樣在傳輸?shù)倪^(guò)程中一旦受到干擾，接收到“&#

31、215;國(guó)”時(shí)就很難確定所輸出的內(nèi)容究竟是“中國(guó)”還是“法國(guó)”、…，由此會(huì)造成很大的損失。但如果沒(méi)有壓縮，當(dāng)接收到的消息是“中華×民共×國(guó)”時(shí)我們很容易把它糾正成“中華人民共和國(guó)”。,剩余度是信息論理論研究中的一個(gè)具有核心意義的重要概念，通信的有效性和可靠性是通信領(lǐng)域中的兩個(gè)既矛盾有統(tǒng)一的兩個(gè)方面。信息論的主題是運(yùn)用信息理論，使有效性和可靠性達(dá)到統(tǒng)一，找到使通信既有效又可靠的途徑和方法。信源編碼就是討論如何減小或消除

32、信源的剩余度，提供信息的有效性；信道編碼就是討論如何增加信源的有用的剩余度，提高通信的可靠性。,第五節(jié) 連續(xù)信源的信息度量,在實(shí)際中，有些信源輸出的消息是時(shí)間和取值均為連續(xù)的函數(shù)，例如：語(yǔ)音信號(hào) ，電視信號(hào) 都是時(shí)間和取值連續(xù)的函數(shù),而在某一固定時(shí)間 和 都是連續(xù)的隨機(jī)變量，這樣的信源我們稱為連續(xù)信源，一般來(lái)說(shuō)，連續(xù)信源輸出的消息是某個(gè)隨機(jī)過(guò)程 的一個(gè)樣本函數(shù)，它是一個(gè)時(shí)間t

33、的連續(xù)函數(shù)，而在某一固定時(shí)刻 ，信源的輸出就成為一個(gè)取值連續(xù)的隨機(jī)變量。本節(jié)討論連續(xù)信源的信息度量。下面我們首先引入一個(gè)概念：微分熵，它是一個(gè)連續(xù)隨機(jī)變量的熵。微分熵也是表示對(duì)隨機(jī)變量的最短描述長(zhǎng)度，它同信息熵有許多相似的地方，但也有一些很重要的差別，在使用這個(gè)概念時(shí)有需要特別注意這些差異。,,,,,,,一、連續(xù)信源的微分熵、相對(duì)熵和平均互信息量,設(shè) 為連續(xù)型隨機(jī)變量X的概率密度，使得 ＞0的x的集合

34、 稱為X的支撐集。 定義1：若連續(xù)隨機(jī)變量X具有概率密度 ，則它的微分熵 定義為 其中S為隨機(jī)變量X的支撐集。 同離散情況一樣，微分熵僅僅依賴于隨機(jī)變量的概率密度 ，因此微分熵有時(shí)也寫(xiě)成 注：微分熵的定義中包含了一個(gè)積分，一般情況下，我們都假定積分是存在的。,,,,,,,,,例1：若隨機(jī)變量X服從a到b的均勻分布，即 ，試求其

35、微分熵。注：由該例可知，連續(xù)型隨機(jī)變量的微分熵不具有非負(fù)性，失去了信息的部分含義和性質(zhì)。例2：設(shè)隨機(jī)變量 ，試求其微分熵。注：該例說(shuō)明正態(tài)連續(xù)信源的熵與數(shù)學(xué)期望 無(wú)關(guān)，只與方差 有關(guān)。在介紹離散信源熵時(shí)我們說(shuō)過(guò)，信息熵描述的是信源的整體特性。由正態(tài)分布密度函數(shù)的曲線可見(jiàn)，當(dāng)均值 發(fā)生變化時(shí)，只是 的對(duì)稱中心在橫軸上發(fā)生平移，曲線的形狀沒(méi)有任何變化。也就是說(shuō)，數(shù)學(xué)期望 對(duì)

36、正態(tài)信源的總體特性沒(méi)有任何影響。,,,,,,,,但是，若X的方差 不同，曲線的形狀隨之改變。所以，正態(tài)連續(xù)信源的熵與方差 有關(guān)，而與數(shù)學(xué)期望 無(wú)關(guān)。這是信源熵的總體特性的再度體現(xiàn)。 當(dāng)均值 時(shí)，X的方差 就是隨機(jī)變量的平均功率 由這一的隨機(jī)變量X所代表的連續(xù)信源，稱為高斯分布的連續(xù)信源。例3：設(shè)隨機(jī)變量 (指數(shù)分布)，求其微分熵。注：該

37、例說(shuō)明，指數(shù)分布的連續(xù)信源的熵只取決于均值。這一點(diǎn)很容易理解，因?yàn)橹笖?shù)分布函數(shù)的均值，決定函數(shù)的總體特性。,,,,,,,,作業(yè)：設(shè)X服從拉普拉斯分布，即 求其微分熵。下面我們研究微分熵與離散熵之間的關(guān)系。 連續(xù)隨機(jī)變量可以看作是離散隨機(jī)變量的極限，故可采用離散隨機(jī)變量來(lái)逼近。下面，我們采用這一觀點(diǎn)討論連續(xù)信源的信息熵與信息量。 考慮一個(gè)連續(xù)型隨機(jī)變量X，其概率密度為f(x)

38、，圖像如圖所示：,,現(xiàn)將隨機(jī)變量X的值域分成間隔為 的小區(qū)間，只要區(qū)間 足夠小，那么X的值落入?yún)^(qū)間 的概率近似為 。 考慮如下形式的分層量化后取值為離散值 是離散隨機(jī)變量 ： ， 如果 ， 則 的概率為

39、 ，,,,,,,,,,,,從而分層量化后的離散隨機(jī)變量 的熵為： 最后一個(gè)等式成立是因?yàn)?。如果 是黎曼可

40、積的，則上式中第一式接近于 的積分，這樣我們可得到如下定理： 定理1：如果連續(xù)隨機(jī)變量X的概率密度為 ，且黎曼可積，則當(dāng) 時(shí)有,,,,,,,,,注：1. 微分熵 不具備非負(fù)性，但是連續(xù)信源輸出的信息量由于有一個(gè)無(wú)限大量的存在， 仍大于0。這里，我們?nèi)詫?定義為連續(xù)信源的熵，理由有二：一是由于它在形式上于離散熵相似：,,,,,另一個(gè)更重要的原因是在于實(shí)際處理問(wèn)題時(shí)，比如

41、互信息、信道容量、信息率失真函數(shù)等可涉及到的僅是熵的差值，即平均互信息量。這時(shí)，只要相差的兩個(gè)連續(xù)微分熵在逼近時(shí)可取的是一致的，兩個(gè)同樣的無(wú)限大的尾巴就可以互相抵消?？梢?jiàn)， 是具有相對(duì)性，它是為了引入互信息等重要概念而引入的一個(gè)過(guò)渡性的概念,,2. 是連續(xù)信源的微分熵，而不是連續(xù)信源輸出的信息量，而連續(xù)信源輸出的信息量是 。這就是說(shuō)，在離散信源中信源輸出信息量就是信源熵，兩者是一個(gè)概念；但是在連續(xù)信源中則是兩個(gè)概

42、念，且不相等。連續(xù)信源輸出信息量 是一個(gè)絕對(duì)值，它取值于 ，而連續(xù)信源的微分熵則是一個(gè)相對(duì)值，且取值是有限的。 同離散情形一樣，我們可以將微分熵的定義推廣到多個(gè)隨機(jī)變量情形。,,,,,,定義2：設(shè)隨機(jī)變量 的聯(lián)合概率密度為 ，則它們的聯(lián)合微分熵定義為 例4：設(shè)隨機(jī)變量

43、 服從N維均勻分布，即聯(lián)合概率密度 求其聯(lián)合微分熵。注：由該例可見(jiàn)，N維均勻分布連續(xù)信源的熵是N維區(qū)域體積的對(duì)數(shù)，其大小僅與各維區(qū)域的邊界有關(guān)，這是信源熵總體特性的體現(xiàn)，因?yàn)榫S區(qū)域的邊界決定了概率密度函數(shù)的總體形狀。,,,,,,例5：設(shè) 具有多維正態(tài)分布，其均值為 ，協(xié)方差矩陣為K，即 。試求其聯(lián)合微分熵。定義3：如果X

44、,Y具有聯(lián)合概率密度為 ，我們可以定義條件微分熵 為 。因?yàn)?，我們可將條件微分熵改寫(xiě)成如下形式： 。由上式可見(jiàn)：

45、 ，這稱為微分熵的鏈條法則。,,,,,,,,,,定義4：兩個(gè)連續(xù)隨機(jī)變量的密度f(wàn)和g的相對(duì)熵（或Kuallback　Leibler距離）定義為 ，注意到僅當(dāng)f的支撐集包括在g的支撐集中時(shí)相對(duì)熵 有限。一般假定。,,,,定義5：如果X,Y具有聯(lián)合概率密度為

46、，則它們之間平均互信息量 定義為 。 由上述定義可知： ， 并且 。,,,,

47、,,注：兩個(gè)連續(xù)隨機(jī)變量的相對(duì)熵 和平均互信息量 與離散隨機(jī)變量的相對(duì)熵和平均互信息量有相同的性質(zhì)。特別地，兩個(gè)連續(xù)隨機(jī)變量的平均互信息量是它們分層量化后的兩個(gè)離散隨機(jī)變量的平均互信息量的極限。實(shí)際上，,,,,二、微分熵、相對(duì)熵和平均互信息量的性質(zhì),性質(zhì)1： ≥0，等號(hào)成立當(dāng)且僅當(dāng)f=g(幾乎處處)。性質(zhì)2： 等號(hào)成立當(dāng)且僅當(dāng)X和Y相互獨(dú)立。性質(zhì)3：

48、 等號(hào)成立當(dāng)且僅當(dāng)X和Y相互獨(dú)立。 性質(zhì)4：(微分熵的鏈條法則),,,,,,性質(zhì)5： ， 等號(hào)成立當(dāng)且僅當(dāng) 相互獨(dú)立。: 性質(zhì)6：平移不改變微分熵的值，即性質(zhì)7：設(shè)X為隨機(jī)變量， 為常數(shù)，則 性質(zhì)8：設(shè)X為N維隨機(jī)向

49、量，A為N階非奇異方陣，則,,,,,,,例6：有一連續(xù)型隨機(jī)變量，其概率密度為 (1)求A； (2)求X的微分熵 ； (3) 若 ，求Y的微分熵 。 作業(yè)：有一連續(xù)型隨機(jī)變量 ，其概率密度為 (1)求 ； (2)求的微分熵 ； (3) 若 ，求的微分熵 。,,,,,,,,,,,三、連續(xù)信源的最大熵,1

50、. 限平均功率最大熵定理定理2：設(shè)隨機(jī)向量 具有零均值，協(xié)方差矩陣為 ， 。注：(1). 該定理說(shuō)明，當(dāng)連續(xù)信源輸出信號(hào)的平均功率(即n維協(xié)方差矩陣)受限時(shí)，只有信號(hào)的統(tǒng)計(jì)

51、特性與高斯噪聲的統(tǒng)計(jì)特性(n維正態(tài)分布)一樣時(shí)，才會(huì)有最大的熵值。從直觀上看這是合理的，因?yàn)樵肼暿且粋€(gè)最不確定的隨機(jī)過(guò)程，而最大的信息量只能從最不確定的事件中獲得。,,,,(2). 當(dāng)信源輸出的平均功率受限時(shí)，對(duì)于一維信號(hào)(隨機(jī)變量)來(lái)說(shuō)，就是均值為零，方差 受限；對(duì)于多維信號(hào)來(lái)說(shuō)，就是協(xié)方差矩陣K中的協(xié)方差 ，即隨機(jī)序列 中各個(gè)分量不相關(guān)；

52、 受限。,,,,,2. 限峰功率最大熵定理,定理3. 設(shè)n維隨機(jī)矢量X的取值范圍為 ，則當(dāng)X服從均勻分布時(shí)達(dá)到最大熵。 注：該定理說(shuō)明，若代表信源的n維隨機(jī)變量的取值被限制在一定的范圍之內(nèi)，則在有限的定義域內(nèi)，均勻分布的連續(xù)信源具有最大熵。 在實(shí)際問(wèn)題中，某信源輸出信號(hào)的峰值功率受限為 ，即信源輸出信號(hào)的瞬時(shí)電壓限定在 內(nèi)，它等

53、價(jià)于信源輸出的連續(xù)隨機(jī)變量X的取值幅度受限，限 于 內(nèi)取值，通常取 ，這種取值的平移并不影響熵的值。這時(shí)意味著 的值被限制在 之間，或者說(shuō)峰值功率被限制在 之內(nèi)，所以上述定理一般稱為限峰功率最大熵定理。,,,,,,,,,4.限均值最大熵定理,定理4. 若連續(xù)信源X輸出非負(fù)信號(hào)的均值受限，則其輸出信號(hào)幅度呈指數(shù)分布時(shí)，連續(xù)信源X具有最大熵值。 注：從上面三個(gè)定理可以看出，連續(xù)信

54、源與離散信源不同，它不存在絕對(duì)的最大熵，其最大熵與信源的限制條件有關(guān)，在不同的限制條件下，有不同的最大連續(xù)熵值。,四、熵功率,與離散信源一樣，在討論了連續(xù)信源的最大熵問(wèn)題之后，也要考慮沒(méi)有達(dá)到最大熵的信源的冗余度問(wèn)題。從這個(gè)角度出發(fā)，引出熵功率的概念。我們知道，在不同的約束條件下，連續(xù)信源有不同的最大熵。因?yàn)榫禐榱恪⑵骄β适芟薜倪B續(xù)信源是實(shí)際中最常見(jiàn)的一種信源，我們重點(diǎn)討論這種信源的冗余問(wèn)題。 均值為零、平均功率限

55、定為P的連續(xù)信源當(dāng)服從高斯分布時(shí)達(dá)到最大熵： ， 也就是說(shuō)高斯信源的熵值與P有確定的對(duì)應(yīng)關(guān)系： 。,,,如果另一信源的平均功率也為P，但不是高斯分布，那么它的熵值 一定比高

56、斯信源的熵 小。反過(guò)來(lái)說(shuō)，如果有一個(gè)信源與這個(gè)高斯信源有相同的熵 ，則它的平均功率 ， 為高斯信源的平均功率，因?yàn)閷?duì)于非高斯信源， ，而對(duì)于高斯信源， 。,,,,,,,,定義6：假定某連續(xù)信源的熵為 ，平均功率為P，則與它具有相同熵的高斯信源的平均功率 定義為熵功率，即

57、 ， 所以 ，當(dāng)該連續(xù)信源為高斯信源時(shí)等號(hào)成立。 注： 的大小可以表示連續(xù)信源剩余度的大小。如果熵功率等于信源平均功率，表示信源沒(méi)有剩余；熵功率和信源的平均功率相差越大，說(shuō)明信源的剩余度越大，所以把信源平均功率和熵功率之差 稱為連續(xù)信源的剩余度。,,,,,,,本章習(xí)題選講,1. 設(shè)有一信源，它產(chǎn)生0,1序列的消息。它在任意時(shí)間而且不論以前發(fā)過(guò)什么符號(hào)

58、，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號(hào)。 (1)試問(wèn)這個(gè)信源是否是平穩(wěn)的？為什么？ (2)計(jì)算 ； (3)計(jì)算這個(gè)信源的極限熵。,,本章習(xí)題選講,2. 設(shè)某馬爾可夫信源的符號(hào)集 ，狀態(tài)集 ，在某狀態(tài) 下輸出符號(hào) 的概率如下表所示：

59、 (1)畫(huà)出狀態(tài)轉(zhuǎn)移圖，求出狀態(tài)極限概率及各符號(hào)的極限概率； (2)計(jì)算信源的極限熵。,,,,,,本章習(xí)題選講,3. 有一二元數(shù)字通信系統(tǒng)，傳送“0”和“1”的概率分別為1/4和3/4。為了可靠地傳輸這一消息，重復(fù)傳輸3次，試求該信源的冗余度。 4. 有一信源發(fā)出恒定寬度，但不同幅度的脈沖，幅度值X處在 和 之間。此信源連著某信

60、道，信道接收端接收的脈沖的幅度Y處在 和 之間。已知隨機(jī)變量X和Y的聯(lián)合概率密度為 求 。,,,,,,,本章習(xí)題選講,5. 設(shè)二維隨機(jī)變量(X,Y)服從區(qū)域上 的均勻分布，求6.設(shè)隨機(jī)變量

61、 的聯(lián)合概率密度為 ， 求 的概率密度與微分熵。7.設(shè)隨機(jī)變量X的概率密度為 ， ，求Y的概率密度與微分熵。,,,,,,,,本章習(xí)題選講,8.設(shè)連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為

62、 ，求：（1）隨機(jī)變量X和Y的微分熵h(X)和h(Y);（2）連續(xù)條件熵h(Y|X);（3）X和Y之間的平均互信息量I(X;Y)。9.設(shè) 為二維高斯分布的連續(xù)信源，其聯(lián)合概率分布為 ，試求二維高斯分布連續(xù)信源 的微分熵,,,,,,本章習(xí)題選講,10.設(shè)X、Y是均值為零，方差