chap3電信13

1、信道與信道容量,第三章,2,3.1 信道分類和表示參數(shù)3.2 離散單個符號信道及其容量3.3 離散序列信道及其容量,內(nèi)容,3,3.1 信道分類和表示參數(shù),4,信道,信道：信息傳輸?shù)耐ǖ?在通信中,信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信號在這些信道中傳輸?shù)倪^程遵循不同的物理規(guī)律, 通信技術必須研究信號在這些信道中傳輸時的特性信息論不研究信號在信道中傳輸?shù)奈锢磉^程,并假定信道的傳輸特性已知,這樣信息論就

2、可以抽象地將信道用下圖所示的模型來描述。,信 道,,,輸入量X(隨機過程),輸出量Y(隨機過程),p(Y|X),5,（1）按其輸入/輸出信號在幅度和時間上的取值是離散或連續(xù)來劃分,,3.1.1 信道分類,6,信道分類,（2）按輸入/輸出之間關系的記憶性來劃分： 無記憶信道：信道的輸出只與信道該時刻的輸入有關,而與其他時刻的輸入無關有無記憶信道：信道的輸出不但與信道現(xiàn)時的輸入有關而且還與以前時刻的輸入有關,7,信道分類,（

3、3）按輸入／輸出信號之間的關系是否是確定關系:無干擾信道：輸入/輸出符號之間有確定的一一對應關系有干擾信道：輸入/輸出之間關系是一種統(tǒng)計依存的關系輸入/輸出的統(tǒng)計關系：離散無記憶信道：用條件概率矩陣來描述。離散有記憶信道：可像有記憶信源中那樣引入狀態(tài)的概念。,8,3.1.2 信道參數(shù),設信道的輸入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 輸出Y= (Y1

4、, Y2 … Yj,…), Yj ∈{b1 … bm}信道轉移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計依賴關系,反映信道統(tǒng)計關系,信 道,,X,,Y,p(Y|X),9,無干擾(無噪聲)信道,無干擾(無噪聲)信道信道的輸出信號Y與輸入信號X之間有確定的關系Y=f (X),已知X后就確知Y轉移概率:,10,有干擾無記憶信道,有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關系,但轉移概率滿足:,有干擾無記憶信道可分為

5、（輸入輸出符號數(shù)）:二進制離散信道離散無記憶信道離散輸入、連續(xù)輸出信道波形信道,11,二進制離散信道,二進制對稱信道BSC輸入符號X取值{0,1}；輸出符號Y取值{0,1} 很重要的一種特殊信道信道轉移概率： p(0|0) = 1－p p(1|1) = 1－p p(0|1) = p p(1|0) = p,無錯誤傳輸?shù)母怕?傳輸發(fā)生錯誤的概率,12,離散無記憶信道DMC,信道輸入是n元符號

6、 X={a1, a2, …, an}信道輸出是m元符號 Y={b1, b2, …, bm}轉移矩陣,,pij=p(bj|ai),13,P:轉移概率矩陣已知X,信道輸出Y表現(xiàn)出來的統(tǒng)計特性完全描述了信道的統(tǒng)計特性,其中有些概率是信道干擾引起的錯誤概率,有些是正確傳輸?shù)母怕?,轉移概率矩陣,14,3.2 離散單個符號信道及其容量,15,信道的輸入、輸出都取值于離散符號集，且都用一個隨機變量來表示的信道。

7、設離散單符號信道的輸入隨機變量為 ，輸出隨機變量為 ，由于信道中存在干擾，因此輸入符號在傳輸中將會產(chǎn)生錯誤，這種信道干擾對傳輸?shù)挠绊懣捎棉D移概率 來描述：,3.2.1 離散單符號信道的數(shù)學模型,16,為了表述簡便，常常寫成,其中：,,信道轉移概率實際上是一個轉移概率矩陣，稱為信道矩陣,17,一般離散單符號信道的概率關系： （1）輸入輸出

8、隨機變量的聯(lián)合概率分布為 則有 其中 是信道轉移概率，即輸入為 ，通過信道傳輸輸出 的概率，通常稱為前向概率。它是由于信道噪聲引起的，所以通常用它描述信道噪聲的特性。而 是已知信道輸出符號 ，輸入符號為 的概率，稱為后向概率。有時把

9、 稱為輸入符號的先驗概率。而對應的把 稱為輸入符號的后驗概率。,18,（2）由全概率公式，可從先驗概率和信道轉移概率求輸出符號的概率：,（3）根據(jù)貝葉斯公式，可由先驗概率和信道的轉移概率求后向概率：,寫成向量的形式：,或記成,19,平均互信息 是接收到輸出符號集 后所獲得的關于輸入符號集 的信息量。 信宿所消除的關于信源的不確定性，也就是獲得的關于

10、信源的信息為 ，它是平均意義上每傳送一個符號流經(jīng)信道的信息量，從這個意義上來說，平均互信息又稱為信道的信息傳輸率，通常用 表示。即,,,,,比特/符號,,比特/秒,一般稱為信息傳輸速率。,如果平均傳輸一個符號為t秒，則,20,信道容量,我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R平均互信息I (X;Y)：接收到符號Y后平均每個符號獲得的關于X的信息量。,信道的信息傳輸率就

11、是平均互信息,,21,信道容量,信道容量C：最大的信息傳輸率,單位時間的信道容量：,,22,信道容量的計算,對于一般信道,信道容量計算相當復雜,我們先討論某些特殊類型的信道：離散信道可分成： 無干擾(無噪)信道無噪無損信道有噪無損信道 無噪有損信道 有干擾無記憶信道有干擾有記憶信道,23,,3.2.1 無干擾離散信道,設信道的輸入X∈A={a1 … an},輸出Y∈B={b1 … bm}無噪無損信道輸入和輸出符

12、號之間有確定的一一對應關系,,,,X,a1 b1 Ya2 b2a3 b3,1,1,1,24,,無干擾離散信道,

13、無噪無損信道,X,a1 b1 Ya2 b2an-1 bn-1an

14、 bn,1,1,,,,,25,無干擾離散信道,無噪無損信道由,計算得：噪聲熵H(Y|X) = 0 損失熵H(X|Y) = 0,26,,無干擾離散信道,無噪有損信道多個輸入變成一個輸出(n＞m),X,a1 Y

15、a2 b1a3a4 b2a5,,,,,,1,1,1,1,1,輸出Y是輸入X的確定函數(shù),但不是一一對應,而是多一對應關系。,27,無干擾離散信道,無噪有損信道多個輸入變成一個輸出(n＞m

16、),噪聲熵H(Y|X) ＝ 0 損失熵H(X|Y) ≠ 0,信道中接收到符號Y后不能完全消除對X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。,28,,無干擾離散信道,有噪無損信道一個輸入對應多個輸出(n＜m),X,b1 Ya1 b2

17、 b3a2 b4 b5,,,,,,1/3,1/3,1/3,1/4,3/4,計算得,同理,由,29,無干擾離散信道,有噪無損信道一個輸入對應多個輸出(n＜m),接收到符號Y后,對發(fā)送的X符

18、號是完全確定的。噪聲熵H(Y|X) 損失熵H(X|Y),≠ 0,= 0,30,無干擾離散信道,無噪無損信道,有噪無損信道,無噪有損信道,,31,對稱離散無記憶信道：對稱性:每一行都是由同一集合{q1, q2,…qm}的諸元素不同排列組成——輸入對稱每一列都是由{p1, p2,…pn}集的諸元素不同排列組成——輸出對稱,3.2.2 對稱DMC信道,滿足對稱性,所對應的信道是對稱離散信道。,,32,對稱DM

19、C信道,信道矩陣,不具有對稱性,因而所對應的信道不是對稱離散信道。,33,對稱DMC信道,對稱離散信道的平均互信息為,34,對稱DMC信道,對稱DMC信道的容量：,上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量{p1, p2,…pm }和輸出符號集的個數(shù)m有關。,,,35,例某對稱離散信道的信道矩陣為,,信道容量為,,36,對稱DMC信道,若輸入符號和輸出符號個數(shù)相同,都等于n,且信道矩陣為,此信道稱為強對稱

20、信道 (均勻信道)信道矩陣中各列之和也等于1,強對稱信道的信道容量：,37,設二進制對稱信道的輸入概率空間信道矩陣：,BSC信道容量,38,39,當p固定時,I (X,Y) 是ω的 型上凸函數(shù)。,,,,,I(XY),ω,BSC信道容量,1-H(p),,I (X,Y) 對ω存在一個極大值。,BSC信道容量,40,當固定信源的概率分布ω時,I (X,Y) 是p的 型 下凸函數(shù)。,,,,p,C,,信道無噪聲,當p = 0,

21、 C =1－0 = 1bit = H(X),當p =1/2,,信道強噪聲,BSC信道容量,BSC信道容量,41,定理：平均互信息I (X;Y)是信道傳遞概率p(bj|ai)的 型下凸函數(shù)。,定理：給定轉移概率矩陣P后,平均互信息I (X;Y)是輸入信源的概率分布p(ai)的 型上凸函數(shù)。,信道容量,,信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊?42,當信源輸入符號的速率為rs(符/秒),信道

22、容量,BSC信道容量,實際信息傳輸速率Rt為,進入信道輸入端的信息速率,43,例BSC信道如圖, rs=1000符號/秒,錯誤傳遞概率p=0.1求:信道容量,,,,¼ 0,Y,0.9,,¾ 1,0.1,輸入符號等概時有最大信息傳輸速率,信道實際信息傳輸速率,44,串聯(lián)（級聯(lián)）信道是信道最基本的組合形式，許多實際信道都可以看成是其組成信道的級聯(lián)。,串聯(lián)信道,X→Y→Z 組成一個馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，串聯(lián)信

23、道的總的信道矩陣等于這兩個串接信道的信道矩陣的乘積。,在實際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。,45,串聯(lián)信道,例3-3 設有兩個離散BSC信道,串接如圖,兩個BSC信道的轉移矩陣為:,,,,,,,X0,0Z,Y,1,1,1-p,1-p,1-p,p,串聯(lián)信道的轉移矩陣為:,1-p,p,,46,串聯(lián)信道,,,,,,,X0,0Z,Y,1,1,求得:,p,p,1-p

24、,1-p,1-p,1-p,,47,串聯(lián)信道,由信息不增原理,信道2,,信道m(xù),信道1,,,,…,,可以看出,串接的信道越多,其信道容量可能會越小,當串接信道數(shù)無限大時,信道容量可能會趨于0,X,Y,Z,48,3.2.3 準對稱DMC信道,準對稱信道轉移概率矩陣P是輸入對稱而輸出不對稱,,準對稱信道,準對稱信道容量,49,準對稱信道的信道容量,準對稱信道 將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣[P]

25、k是對稱矩陣。,50,準對稱信道的信道容量,當輸入分布為等概率時：,其中n是輸入符號集的個數(shù),(p1, p2,…pm)為準對稱信道矩陣中的行元素。設矩陣可劃分成r個互不相交的子集。Nk是第k個子矩陣Pk中行元素之和,Mk是第k個子矩陣Pk中列元素之和。,51,例：設信道傳遞矩陣為,計算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4,將它分成,52,通過計算可得平均互信息的極大值 ，即,設輔助

26、函數(shù)： ，,1.平均互信息 是輸入概率分布p(x)的上凸函數(shù)，因此極大值必定存在。在信道固定的條件下，平均互信息是r個變量 的多元函數(shù)，且滿足約束條件 ，故可用拉格朗日乘子法來求這個條件極值。即在,當 時求得的值即為信道容量。,,的條件下求 的極值。,3.2.4 一般DMC信

27、道,53,因為,所以,又因,54,令,得到,即,同乘以 并對x求和，,55,1．信道矩陣為可逆矩陣，采用解方程組的方法。 在一般信道的信道容量的推導中我們推出了下式：,這樣得到的信道容量有一個參數(shù) 。在某些情況下可以消去 得到信道容量值。,,,令,移項得,56,則,,所以,當r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解。這時就可以求出 ，然后根據(jù) 和

28、 求出信道容量：,由 和C就可以求得輸出概率分布,57,,,（1）由 列方程組求出 ；,,（2）由 求出C；,將計算步驟總結如下：,（3）由 求出 ；,（4）由

29、 列方程組求 。,為什么要求 ？,58,例：求如下信道的信道容量：,公式：,59,2．當輸入概率分布只有一個變量時，例如r=2，可以設輸入概率分布為 和 ，因此輸入概率分布只有一個變量，這時我們可以直接對 求導求出，從而得出 的極大值C。,例已知信道的轉移矩陣為求信道容量。

30、,60,3.2.5 信道容量定理,定理：一般離散信道的平均互信息I(X;Y)達到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足: I (ai;Y) = C 對于所有ai其p(ai)＞0 I (ai;Y) ≤C 對于所有ai其p(ai) = 0,上式說明：當信道的平均互信息I(X;Y)達到信道容量時,輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息,只

31、是概率為0的除外。,61,平均互信息對輸入概率分布求偏導：,（1）,（2）,用 上式 和 改寫信道容量充要條件：,62,信道容量定理：平均互信息 取到極大值也就是信道容量時，對于任意 ，只要它出現(xiàn)的概率大于0， 都相等。,例證明當輸入為等概分布時，離散準對稱信道達到信道容量。,63,信道容量定理只給出了達到信道容量時，最佳輸入概率分布應滿

32、足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。,64,例輸入符號集 ，輸出符號集 ， 離散信道如圖所示，求C。,65,3.3 離散序列信道及容量

33、,66,離散序列信道及容量,設信道的輸入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 輸出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm},信 道,,X,,Y,p(Y|X),對于無記憶離散序列信道,其信道轉移概率為,僅與當前輸入有關。若信道是平穩(wěn)的,67,定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為,則存在,定理

34、：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即,則存在,68,離散序列信道及容量,若信源與信道都是無記憶的,L次擴展信道的信道容量,,當信道平穩(wěn)時:,一般情況下:,,69,例3-7.BSC信道二次擴展,,,,,,,,,,,,,,,,,00,X,01,10,11,00,01,10,11,Y,轉移概率矩陣,2次擴展信道的信道容量,若 p = 0.1 則 C2=(2－0.938)bit/序列 = 1

35、.062bit/序列 C1 = 0.531bit/序列,70,獨立并聯(lián)信道,設有L個信道,它們的輸入、輸出分別是： X1,X2…XL； Y1,Y2…YL,信 道,信 道,信 道,,,,,,,p(Y1|X1),p(YL|XL),p(Y2|X2),…,每一個信道的輸出Yl只與本信道的輸入Xl有關,與其他信道的輸入、輸出都無關。獨立并聯(lián)信道的信道容量,X1,X2,X

36、L,Y1,Y2,YL,71,3.3 連續(xù)信道及其容量,72,連續(xù)信道及其容量,連續(xù)信道的容量不容易計算。當信道為加性連續(xù)信道時,情況簡單一些。設信道的輸入和輸出信號是隨機過程x(t) 和y(t) y(t) = x(t) + n(t),n(t)：信道的加性高斯白噪聲,一個受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：,信 道,,,,n(t),x(t),y(t),73,連續(xù)信道