第3章離散信道及其信道容量

1、第三章 信道及其容量,,信道的任務(wù)是以信號方式傳輸信息和存儲信息。研究信道中能夠傳送或存儲的最大信息量，即信道容量。,3.1 信道的數(shù)學(xué)模型和分類,,,圖3.1.1 數(shù)字通信系統(tǒng)的一般模型,3.1 信道的數(shù)學(xué)模型和分類,一、信道的分類 根據(jù)載荷消息的媒體不同,,根據(jù)信息傳輸?shù)姆绞?根據(jù)信息傳輸?shù)姆绞椒诸愔?根據(jù)信道的用戶多少：兩端(單用戶)信道

2、 多端(多用戶)信道根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道 反饋信道根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道 時變參數(shù)信道 根據(jù)輸入和輸出

3、信號的特點(diǎn)： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道,,二、離散信道的數(shù)學(xué)模型,條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計依賴

4、關(guān)系。反映了信道的統(tǒng)計特性。,根據(jù)信道的統(tǒng)計特性即條件概率 P(y/x)的不同，離散信道又可分成三種情況： 無干擾信道有干擾無記憶信道有干擾有記憶信道,(1)無干擾(噪聲)信道 信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號y與輸入信號 x 之間有確定的、一 一對應(yīng)的關(guān)系。即：y ＝ f (x),(2)有干擾無記憶信道信道輸入和輸出之間的條件概率是一般的概率分布。如果任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的

5、輸入符號，則這種信道稱為無記憶信道。,(3) 有干擾(噪聲)有記憶信道 實(shí)際信道往往是既有干擾(噪聲)又有記憶的這種類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號不但與對應(yīng)時刻的輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸出符號有關(guān)，這樣的信道稱為有記憶信道。,三、單符號離散信道,單符號離散信道：輸入符號為X，取值于{

6、a1,a2, …,ar}。輸出符號為Y，取值于{b1,b2, …,bs}。條件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 這一組條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率，可以用來描述信道干擾影響的大小。,,信道中有干擾(噪聲)存在，可以用傳遞概率 P(bj/ai) 來描述干擾影響的大小。一般簡單的單符號離散信道可以用[X, P(y/x) ,Y] 三者加以描述。其數(shù)學(xué)模型可以用概率空間[X, P(y/x) ,Y

7、]描述。當(dāng)然，也可用下圖來描述：,[例1] 二元對稱信道，[BSC，Binary Symmetrical Channel],解：此時，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。傳遞概率:,p是單個符號傳輸發(fā)生錯誤的概率。（1-p）表示是無錯誤傳輸?shù)母怕省?轉(zhuǎn)移矩陣:,0 101,符號“2”表示接收到了“0”、“1”以外的特殊符號,0 2

8、 101,[例2]二元刪除信道。[BEC，Binary Eliminated Channel],解：X:{0，1} Y:{0，1，2}此時，r ＝2，s ＝3，傳遞矩陣為：,一般離散單符號信道的傳遞概率可用矩陣形式表示，即,矩陣P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學(xué)模型的形式。 P中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為信道矩陣（轉(zhuǎn)移矩陣） 。,3.

9、2 信道疑義度與平均互信息,本節(jié)進(jìn)一步研究離散單符號信道的數(shù)學(xué)模型下的信息傳輸問題。,,一、信道疑義度,信道輸入信源X的熵,,H(X)是在接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性，稱為先驗(yàn)熵。,接受到bj后，關(guān)于X的不確定性為,后驗(yàn)熵在輸出符號集Y范圍內(nèi)是個隨機(jī)量，對后驗(yàn)熵在符號集Y中求數(shù)學(xué)期望，得條件熵----信道疑義度：,這是接收到輸出符號bj后關(guān)于X的后驗(yàn)熵。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號bj后，關(guān)于

10、輸入符號的信息測度。,互信息量 I(xi ; yj)：收到消息yj 后獲得關(guān)于xi的信息量,即：互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量,對于無干擾信道，I(xi ; yj) = I(xi)；,對于全損信道，I(xi ; yj) = 0；,二、平均互信息,平均互信息I(X; Y)： I(xi ; yj)的統(tǒng)計平均。,它代表接收到符號集Y后平均每個符號獲得的關(guān)于X的信息量，也表示了輸入與輸出兩個隨機(jī)變量之間的

11、統(tǒng)計約束程度。,關(guān)于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后獲得關(guān)于某事件x的信息量。它可取正值，也可取負(fù)值。 若互信息I(x ; y)= 0。 若I(X;Y) = 0，表示在信道輸出端接收到輸出符號Y后不獲得任何關(guān)于輸入符號X的信息量----全損信道。,I(X;Y) = H(X) - H(X|Y) I(X;Y) = H

12、(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY)其中：,平均互信息與各類熵的關(guān)系,平均互信息與各類熵之間關(guān)系的集合圖（維拉圖）表示： H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y),,H(X),H(Y),,H(X/Y),H(Y/X),I(X;Y),,

13、圖中，左邊的圓代表隨機(jī)變量X的熵，右邊的圓代表隨機(jī)變量Y的熵，兩個圓重疊部分是平均互信息I(X;Y)。每個圓減去I(X;Y)后剩余的部分代表兩個疑義度。,兩種特殊信道,（1）、離散無干擾信道 ( 無損信道 ),信道的輸入和輸出一一對應(yīng)，信息無損失地傳輸，稱為無損信道。 H(X|Y) = H(Y|X) = 0 [損失熵和噪

14、聲熵都為“0” ] 由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y),,（2）、輸入輸出獨(dú)立信道 ( 全損信道 ) 信道輸入端X與輸出端Y完全統(tǒng)計獨(dú)立,H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = 0 [I(X;Y) = H(X) - H(X|Y)] 信道

15、的輸入和輸出沒有依賴關(guān)系，信息無法傳輸，稱為全損信道。 接收到Y(jié)后不可能消除有關(guān)輸入端X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從X中獲得任何關(guān)于Y的信息量。 平均互信息I(X;Y)等于零，表明了信道兩端隨機(jī)變量的統(tǒng)計約束程度等于零。,二種極限信道各類熵與平均互信息之間的關(guān)系,H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0,H(X|Y)=H(Y|X)=0

16、I(X;Y)=H(X)=H(Y),無損信道：完全重迭,全損信道：完全獨(dú)立,無損信道：,全損信道：,3.2 平均互信息的性質(zhì),平均互信息 I(X;Y) 具有以下特性：（1）非負(fù)性 即 I(X;Y) >= 0 當(dāng)X、Y統(tǒng)計獨(dú)立時等式成立。（2）極值性 即 I(X;Y) <= H(X) 當(dāng) H(X/Y)=0 時，即信道中傳輸信息無損時，等式成立。,

17、（3）交互性（對稱性） 即 I(X;Y) = I(Y;X) 當(dāng) X、Y統(tǒng)計獨(dú)立時 I(X;Y) = I(Y;X)=0 當(dāng)信道無干擾時 I(X;Y) = I(Y;X)=H(X)=H(Y),（4）凸?fàn)钚?所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的傳遞概率P(y/x)的函數(shù)，即：

18、 I(X;Y) = f [P(x), P(y|x)],平均互信息I(X;Y)是輸入信源的概率分布P(x)的∩型凸函數(shù)。,（1）對固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。（2）對于每一個固定信道，一定存在有一種信源(某一種概率分布P(x))，使輸出端獲得的平均信息量為最大。,平均互信息I(X;Y)是信道傳遞的概率P(y/x)的∪型凸函數(shù)。,當(dāng)信

19、源固定后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。對每一種信源都存在一種最差的信道，此時干擾 (噪聲) 最大，而輸出端獲得的信息量最小。,3.3 離散無記憶信道的擴(kuò)展信道,離散無記憶信道 ( DMC，Discrete Memoryless Channel) ，其傳遞概率滿足：,仍可用 [X，P( y / x )，Y] 概率空間來描述。設(shè)離散無記憶信道的輸入符號集A＝{a1，… ， ar}，輸

20、出符號集B＝{b1 ，… ， bs}，信道矩陣為:,則此無記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如圖所示:,而信道矩陣：,其中：,,,,,,[例3] 求二元無記憶對稱信道（BSC）的二次擴(kuò)展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，因此，二次擴(kuò)展信道的輸入符號集為A＝{00，01，10，11}，共有22＝4個符號，輸出符號集為B＝ {00，01，10，11}。由于是無記憶信道，可求得二次擴(kuò)展信道的傳遞概率：,信道矩陣：,根

21、據(jù)平均互信息的定義，可得無記憶信道的N次擴(kuò)展信道的平均互信息：,若信道的輸入隨機(jī)序列為X= (X1X2…XN)，通過信道傳輸，接收到的隨機(jī)序列為Y＝(Y1Y2…YN)。假若信道是無記憶的，即信道傳遞概率滿足：,則有：,式中Xi Yi是對應(yīng)第 i 位的隨機(jī)變量。若信源是無記憶的，則等式成立。,直觀分析：如果信源有記憶，前面?zhèn)魉偷姆枎в泻竺娣柕男畔?，使得后面?zhèn)魉偷姆柕幕バ畔p少,若信道的輸入隨機(jī)序列為X= (X1X2…XN)，通過信

22、道傳輸，接收到的隨機(jī)序列為Y＝(Y1Y2…YN)。假若信源是無記憶的，則有：,其中Xi和Yi是隨機(jī)序列X和Y中的第 i 位隨機(jī)變量。直觀分析：如果信道有記憶，后面?zhèn)魉偷姆枎в星懊娣柕男畔ⅲ沟们懊鎮(zhèn)魉偷姆柕幕バ畔⒃黾印Ｈ粜诺篮托旁炊际菬o記憶的，則：,研究信道的目的是要討論信道中平均每個符號所能傳送的信息量-----信息傳輸率R平均互信息I(X;Y)就是接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。所以：

23、 R = I(X;Y) = H(X) – H(X|Y) (比特/符號),3.4 離散信道的信道容量,信道中每秒平均傳輸?shù)男畔⒘?---信息傳輸速率Rt,Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）,一、 信道容量的定義 由于平均互信息I(X;Y)是輸入隨機(jī)變量的∩型凸函數(shù) ，所以對一固定的信道，總存在一種信源，使傳輸每個符號平均獲得的信息量最大。即存在一個最大的信息傳輸率

24、------定義為信道容量C,（比特/符號）,(Bit/s),Ct仍稱為信道容量,若平均傳輸一個符號需要 t 秒鐘，則信道在單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘繛镃t：,即：,[例4] 信道容量的計算,因此，二元對稱信道的信道容量為：,二元對稱信道，I(X;Y),(比特／符號),離散無噪信道,二、簡單離散信道的信道容量,例如：,其信道矩陣是單位矩陣：,滿足： I(X;Y)=H(X)=H(Y),,有噪無損信道：,接收到符號Y后，對X符號是

25、完全確定的。 損失熵H(X/Y)=0， 但噪聲熵H(Y/X)≠0,其信道矩陣：,所以 ： I(X;Y)=H(X)<H(Y),無噪有損信道,滿足： I(X;Y)=H(Y)<H(X),信道的疑義度（損失熵） H(X/Y) ≠0而噪聲熵 H(Y/X)=0。 即接收到符號Y后不能完全消除對X的不確定性,,,所謂對稱信道，是指信道矩陣P中每一行都是由

26、同一集合{p1’，p2’，…，ps’}中的諸元素不同排列組成，且每一列也都是由{q1’，q2’，…，qr’} 中的諸元素不同排列組成。 具有這種對稱信道矩陣的信道稱為對稱離散信道。一般s≠r。,三、對稱離散信道的信道容量,例如：,都是對稱離散信道,都不是對稱離散信道,若輸入/輸出符號個數(shù)相同，都等于r，且信道矩陣為：,則此信道稱為強(qiáng)對稱信道或均勻信道。 這類信道中總的錯誤概率為 p ，對稱地平均分配給r-1個輸出

27、符號。 它是對稱離散信道的特例。,這一項(xiàng)是固定X＝x 時對Y求和，即對信道矩陣的行求和。由于信道的對稱性，所以H(Y/X= x )與 x 無關(guān)，為一常數(shù)，即,因此對稱離散信道的信道容量：,對稱離散信道的平均互信息為： I(X;Y)=H(Y)-H(Y/X),在這個信道中，每個符號平均能夠傳輸?shù)淖畲笮畔?.0817比特。只有當(dāng)信道的輸入符號是等概率分布時才能達(dá)到這個最大值。,[例5] 某對稱離散信道的信道矩陣如下，求其信

28、道容量。,解：s=4, r=2,四、離散無記憶N次擴(kuò)展信道的信道容量,一般離散無記憶信道的N次擴(kuò)展信道,一般情況下，消息序列在離散無記憶的N次擴(kuò)展信道中傳輸?shù)男畔⒘浚?I（X;Y）? NC,即：CN = NC,所以，對于一般的離散無記憶信道的N次擴(kuò)展信道，其信道容量是：,,3．5 連續(xù)信道的信道容量,在連續(xù)信源的情況下，如果取兩個相對熵之差，則連續(xù)信源具有與離散信源一致的信息特征，而互信息就

29、是兩個熵的差值，類似于離散信道，可定義互信息的最大值為信道容量。因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。,一、連續(xù)單符號加性高斯噪聲信道的信道容量,設(shè)信道迭加的噪聲n是均值為零，方差為? 2 的一維高斯噪聲，則噪聲信源的熵為：,如果信道輸出信號Y的平均功率限制在Po以下，由前知，當(dāng)Y是均值為零的高斯變量時，其熵h(Y)為最大。因此，得平均功率受限高斯加性信道的信道容量(每個自由度)為：,二、多維無記憶高斯加性

30、連續(xù)信道,(比特／N個自由度),,上式同樣也是N個獨(dú)立、并聯(lián)組合高斯加性信道的信道容量。 此時分兩種情況：(1) 若各單元時刻(i＝1,…,N)上的噪聲都是均值為零、方差為Pn的高斯噪聲，得：,(2) 若各單元時刻(i＝1,…,N)上的噪聲是均值為零，方差為不同Pni的高斯噪聲，但輸入信號的總平均功率受限，其約束為：,則：,單位：(比特／N個自由度),這結(jié)論說明，N個獨(dú)立并聯(lián)的組合高斯加性信道，當(dāng)各分信道(或各時刻)的噪聲平均

31、功率不相等時，為達(dá)到最大的信息傳輸率，要對輸入信號的總能量適當(dāng)?shù)剡M(jìn)行分配。,當(dāng)常數(shù)?＜ Pni時，此信道(或此時刻信號分量)不分配能量，使不傳送任何信息， 當(dāng)? ＞ Pni，在這些信道分配能量，并使?jié)M足Psi+Pni= ? ，這樣得到的信道容量為最大。 這與實(shí)際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。,[例6] 設(shè)在各單元時刻上，噪聲是均值為零，方差為Pni 的高斯加

32、性噪聲。,輸入信號X是10個相互統(tǒng)計獨(dú)立、均值為零、方差為Psi的高斯變量，且：,由常數(shù)?的約束條件，得：,解：,比較得：Ps7 = - 0.05，Ps8 = - 0.15 ，Ps9 = - 0.25 ，Ps10 = - 0.35 ，可見，最后四個信道應(yīng)排除，即令： Ps7 =0， Ps8 =0 ， Ps9 =0 ，Ps10 =0,Pn1 =0.1， Pn2 =0.2 ， Pn3 =0.3 ，Pn4 =0.4 ， Pn5 =0.5

33、 ，Pn6 =0.6， Pn7 =0.7 ， Pn8 =0.8 ，Pn9 =0.9 ， Pn10 =1.0 （單位為W）,再計算常數(shù)?（此時N = 6），得：,比較得：Ps6 = - 0.083，可見，第六個信道也應(yīng)排除，令： Ps6 =0,再計算常數(shù)?（此時N = 5），得：,可見，第五個信道也應(yīng)排除，令： Ps5 =0,所以，功率分配為： Ps1 =0.4， Ps2 =0.3 ， Ps3 =0.2 ，Ps4 =0.1,Pn1 =

34、0.1， Pn2 =0.2 ， Pn3 =0.3 ，Pn4 =0.4 ， Pn5 =0.5 ，Pn6 =0.6， Pn7 =0.7 ， Pn8 =0.8 ，Pn9 =0.9 ， Pn10 =1.0 （單位為W）,(比特／10個自由度),本例結(jié)果表明，噪聲分量平均功率小的信道分配得到的相應(yīng)信號分量的平均功率要大一些，那些太壞的信道就不去用它，可使總的信道容量最大。 ? ? 若提高信號的總平均功率，可使有些信道相應(yīng)的輸入信號也分配到一些

35、能量。,功率分配為： Ps1 =0.4， Ps2 =0.3 ， Ps3 =0.2 ，Ps4 =0.1,信道容量：,(比特／10個自由度),若提高信號的總平均功率，使：,功率分配為： Ps1 =0.725， Ps2 =0.625 ， Ps3 =0.525 ，Ps4 =0.425， Ps5 =0.325， Ps6 =0.225 ， Ps7 =0.125 ，Ps8 =0.025,信道容量：,比較得最后兩個信道應(yīng)排除，令： Ps9 =0 ，Ps

36、10 =0,三、限頻限時限功率的加性高斯白噪聲信道的信道容量,一般信道的頻帶寬度總是有限的，設(shè)頻帶寬度為W，在這樣的波形信道中，滿足限頻、限時、限功率的條件約束，所以可通過取樣將輸入和輸出信號轉(zhuǎn)化為L維的隨機(jī)序列：,,和,，而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有,按照采樣定理，在[0，T]范圍內(nèi)要求,。這是多維無記憶高斯加性信道，其信道容量為：,,,---------這是重要的香農(nóng)公式。當(dāng)信道輸入信號是平均功率受限的高斯白噪聲信號時，

37、信息傳輸率才達(dá)到此信道容量。,香農(nóng)公式的物理意義為：當(dāng)信道容量一定時，增大信道的帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補(bǔ)償。香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。,[例6．4] 在電話信道中常允許多路復(fù)用。一般電話信號的帶寬為3300Hz。若信噪功率比為20dB(即Ps/(NoW)=100)，代入香農(nóng)公式計算可得電話信通的信道容量為22000比特／秒。 而實(shí)

38、際信道能達(dá)到的最大信道傳輸率約為19200比特／秒。因?yàn)樵趯?shí)際電話通道中，還需考慮串音、干擾、回聲等等的因素，所以比理論計算的值要小。,說明： 實(shí)際信道通常是非高斯波形信道。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。,比特／秒,3.6 信源與信道的匹配,在一般情況下，當(dāng)信源與信道相連接時，其信息傳輸率并未達(dá)到最大。我們總希望能使信息傳輸率越大越好，能達(dá)到或盡可能接近于信

39、道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實(shí)現(xiàn)。由此可見，當(dāng)信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。當(dāng)達(dá)到信道容量時，我們稱信源與信道達(dá)到匹配，否則認(rèn)為信道有剩余。,信道剩余度定義為：,信道剩余度 =,相對信道剩余度 =,表示信道的實(shí)際傳信率和信道容量之差。,信道剩余度可以用來衡量信道利用率的高低。,在無損信道中，信道容量 C＝logr (r是信道輸入符號數(shù))。而I(X;Y)＝H(X)，因而

40、： 無損信道的相對剩余度 =,上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。 對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達(dá)到信道容量。 因此引入問題：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息(符號)轉(zhuǎn)換成適合信道傳輸?shù)姆?信號)從而達(dá)到信源與信道的匹配。,注：信道容量C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。,例如，某離散無記憶信源,通過一個無噪無損二元

41、離散信道進(jìn)行傳輸。對二元離散信道的信道容量為：C＝1(比特／信道符號)對本信源的信息熵為 H(X)＝1.937(比特／信源符號)要使信源在此二元信道中傳輸，必須對X進(jìn)行二元編碼：,,因此，必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。,? ?,3.7 信道編碼定理,定理3.7.1 有噪信道編碼定理(香農(nóng)第二定理)： 若有一離散無記憶平穩(wěn)信道，其容量為C，

42、輸入序列長度為L，只要待傳送的信息率R>C，總可以找到一種編碼，當(dāng)L足夠長時，譯碼錯誤概率 ，?為任意大于零的正數(shù)。反之，當(dāng)R<C時，任何編碼的 必大于零，當(dāng) 時， 。,,,,與無失真信源編碼定理(香農(nóng)第一定理)類似，香農(nóng)第二定理只是一個存在性定理，它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。即在保證信息