第8章網(wǎng)絡(luò)信息理論簡介

1、8 網(wǎng)絡(luò)信息理論簡介,8.2 網(wǎng)絡(luò)信道的分類8.3 網(wǎng)絡(luò)信道的信道容量域離散多址接入信道高斯多址接入信道8.4 網(wǎng)絡(luò)中相關(guān)信源的信源編碼相關(guān)信源編碼具有邊信息的信源編碼,8 網(wǎng)絡(luò)信息理論簡介,單用戶通信系統(tǒng)：只有一個輸入信源和一個輸出信源，單向通信。多用戶通信系統(tǒng)：信道的輸入端和輸出端涉及到兩個或兩個以上的信源和信宿，雙向通信。網(wǎng)絡(luò)信息論：還有許多未解決的問題，至今沒有一套完整的網(wǎng)絡(luò)信息理論。即使將來能夠發(fā)現(xiàn)，也可能

2、因為太復雜而不能實現(xiàn)。研究的目的在于可告訴通信設(shè)計者距離網(wǎng)絡(luò)最優(yōu)化多近，也可啟發(fā)設(shè)計者獲得提高通信性能的途徑。,網(wǎng)絡(luò)信息論研究的主要內(nèi)容：網(wǎng)絡(luò)信道的信道容量。這種信道的容量不能簡單地用一實數(shù)表示，可傳輸?shù)男畔⒙室膊荒苡谜龑嵼S上一個區(qū)間來代表，而需用多維空間中的一個區(qū)域來表示。網(wǎng)絡(luò)信道編碼定理。即證明在上述網(wǎng)絡(luò)信道容量范圍內(nèi)，一定有一種編碼方式，能夠可靠地傳輸信息。相關(guān)信源的信源編碼問題。研究相互關(guān)聯(lián)的多個信源進行無失真和有失真編碼

3、時的可達速率區(qū)域。,8 網(wǎng)絡(luò)信息理論簡介,（1）多址接入信道(MAC)： 多個信道輸入信號，可供多個信源同時接入，但只有一個信道輸出信號。 如衛(wèi)星上行、移動上行、光纖上行；CDMA、TDMA,8.2 網(wǎng)絡(luò)信道的分類,(2)廣播信道：單一輸入端口和多個輸出端口與一般的廣播概念不同的是，各信宿要接收的信息并不一定相同。如衛(wèi)星下行、CATV、移動下行,8.2 網(wǎng)絡(luò)信道的分類,（3）中繼信道：可以看成廣播信道和多

4、址接入信道的組合，是一對用戶之間經(jīng)過多種途徑中轉(zhuǎn)所進行的單向通信。一個輸入信號和一個輸出信號。如中繼微波接力系統(tǒng)、一對地面站可經(jīng)一個或多個衛(wèi)星中轉(zhuǎn)或者經(jīng)地面通信轉(zhuǎn)接而實現(xiàn)單向通信。,8.2 網(wǎng)絡(luò)信道的分類,信源,中繼點,信道,譯碼器,,,,,,,,X,Y1,X1,Y,,信道,信道,,,,,（4）雙向信道：在同一端既有發(fā)送，又有接收許多實用信道本質(zhì)上都是雙向信道。,8.2 網(wǎng)絡(luò)信道的分類,,（5）多端網(wǎng)絡(luò)：由多個信源和多個信宿經(jīng)過

5、多個信道組成 ，一般要用圖論方法研究。,8.2 網(wǎng)絡(luò)信道的分類,為了信息的可靠傳輸，各發(fā)送者不但要克服信道噪聲，而且還要克服各發(fā)送端彼此之間的串擾。,8.3 網(wǎng)絡(luò)信道的信道容量域,8.3.1離散多址接入信道,使 Pe →0的速率對 (R1,R2) 稱為可達速率對，所有可達速率對的集合稱為多址信道的信道容量域。定理： 二址接入信道 [X1×X2,P(y|x1x2),Y]的容量區(qū)域，由滿足下述凸殼的閉包給定其中

6、 , C(P1,P2) 是在乘積空間X1×X2上，對所有可能的輸入概率分布求得的可達速率對(R1,R2)的集合。,,,8.3.1 離散多址接入信道,8.3.1 離散多址接入信道,B點：發(fā)送者2不傳送任何信息時，發(fā)送者1可傳送的最大信息率。此時發(fā)送者 1 可傳送的信息率 大于單用戶的情況,,8.3.1 離散多址接入信道,D 點

7、：發(fā)送者1以最大的信息傳輸率發(fā)送時，發(fā)送者2能夠發(fā)送的最大信息傳輸率。該值是在信道中將X2傳送到Y(jié)，而把X1看作為噪聲而求得的。此時，相當于X2以信息率 I(X2;Y) 在單用戶信道中傳輸?shù)慕Y(jié)果。因為 I(X2;Y)=I(X1,X2;Y)-I(X1;Y/X2)，所以，當接收端知道X2的碼字也在發(fā)送時，就要在信道傳輸?shù)慕Y(jié)果中將X2的碼字“減”出來。區(qū)域中的點 A，C和B，D點有相似的含義。,當給定某個輸入分布

8、 ，可得某區(qū)域C(P1 , P2)；不同的輸入分布可得不同的區(qū)域。因此二址接入信道的容量區(qū)是所有可能C(P1 , P2) 的凸閉包，是一個多角形的凸包。,,,8.3.1 離散多址接入信道,上述結(jié)論很容易推廣到 T 個獨立發(fā)送端的一般情況。已知條件概率 P(y/x1x2…xT)，此時各發(fā)送端可達速率范圍為,,8.3.1 離散多址接入信道,例8.1 二址獨立的二元對稱信道的容量區(qū)域，發(fā)送者X1和發(fā)送者X2，接收

9、端Y。,8.3.1 離散多址接入信道,計算得C1=1－H(p1), 此時p1(0)=p1(1)=1/2, p2(0)+p2(1)=1；C2=1－H(p2)，此時p2(0)=p2(1)=1/2, p1(0)+p1(1)=1 。因為這兩信道是互相獨立的，沒有彼此干擾，所以C12=2-H(p1)-H(p2)，此時p1(0)=p1(1)=1/2, p2(0)=p2(1)=1/2。,例8.1解：,例8.2 二址接入二元和信道 Y=X1 +

10、X2,,,,,各信源來的信號在接收端相加，并受加性高斯噪聲 ( 均值為零，方差為 ) 的干擾。信道輸出二址(m=2)時，X1、X2與Z相互獨立,8.3.2 高斯多址接入信道,,信號平均功率受限：可達速率區(qū)是滿足下式的凸閉包：,8.3.2 高斯多址接入信道,8.3.2 高斯多址接入信道,在平均功率受限的情況下，正態(tài)分布時熵最大即只有當輸入 ，并

11、且互相獨立時上式才能達到極大值。,8.3.2 高斯多址接入信道,任意分布，,8.3.2 高斯多址接入信道,高斯二址接入信道的可達容量域,8.3.2 高斯多址接入信道,凸五邊形：B點是發(fā)送者 1 能傳送的最大信息傳輸率C1；D點是發(fā)送者1傳送最大信息率C1情況下，發(fā)送者2所能傳送的信息率C12－C1。這時發(fā)送者1被看成噪聲，計算輸出Y與X2之間的互信息得,8.3.2 高斯多址接入信道,在高斯信道下，可把譯碼考慮成兩步：接收端將發(fā)送端

12、1看成噪聲的一部分，先將發(fā)送端2的碼字譯碼出來。若 譯碼錯誤概率可達任意小。將已成功譯出的發(fā)送端2“減”去，若 則發(fā)送端 1 的碼字能成功譯出。所以，容量區(qū)域中各個角點的速率對是可達的。,,8.3.2 高斯多址接入信道,在許多實際情況中，常采用時分多路通信方式。但該方式不是最佳的方案。若兩發(fā)送端各占一半的傳送時間，可達容量區(qū)域是 AB 連線所圍的區(qū)域。,8.3.2 高斯多址接入信道,若設(shè)在總傳

13、送時間 T 內(nèi)，QT用來傳送X1，(1- Q)T 用來傳送X2，其中 。那么在傳送 X1時， ；在傳送 X2 時， 。若保持平均功率不變，則傳送 X1 時功率可以提高到 ，而 X2功率可提高到 。可得,,,8.3.2 高斯多址接入信道,,,8.3.2 高斯多址接入信道,Q 不同時，得到不同的 (R1,R2)，即曲線 AE

14、B 所決定的區(qū)域。顯然，除了 Q =1，Q=0 和 Q = 即 B,A,E 三點外，其它情況都在容量界線 ( 截角矩形 ) 之下?？梢娫跁r分方式下，C,D 對應(yīng)的速率對是達不到的。,對于頻分多路通信方式，每個發(fā)送者的傳輸速率依賴于所允許傳輸?shù)膸??？紤]信號功率分別為 PS1和PS2的二個發(fā)送端，所占帶寬為 W1和W2。這兩帶寬不重疊，且總帶寬 W=W1+W2。令Q =W1/W是發(fā)送者 1 所占

15、帶寬比，(1-Q)=W2/W是發(fā)送者 2 所占帶寬比，可達速率對是,,將Q和（1－Q）代入，可得,,改變W1和W2( 即 Q 不同時 ) 的可達速率區(qū),在相同的平均功率約束下，時分多址和頻分多址可達到的信息傳輸速率均小于理論給出的容量域。但適當設(shè)計時隙分配或帶寬分配的比例，時分多址和頻分多址都可使速率達到理論容量域所給的最大值，即E點。碼分多址技術(shù)中所有信道輸入信號都占用信道的全部帶寬和時間，各信號間不存在時隙分配或帶寬分配問題。因此

16、，碼分多址的可達速率域與理論容量域一致。在這一意義上，我們認為碼分多址是比較理想的方式。,8.3.2 高斯多址接入信道,高斯多址接入信道,各占一半時間的時分多址Q比例的時分多址和頻分多址碼分多址,,8.4 網(wǎng)絡(luò)中相關(guān)信源的信源編碼,研究多個相關(guān)信源的編碼問題;在實際通信中，常常某個信宿收到來自不同源的編碼信息。各信源獨立：分別處理，單信源通信；各信源相關(guān)：各種相關(guān)信源編碼模型。,兩個信源和兩個譯碼器之間可有16種不同的聯(lián)接方式

17、,兩個相關(guān)信源編碼的最基本結(jié)構(gòu)：兩個信源均為離散無記憶信源。,采用一個編碼器：對于單個信源U進行編碼，傳輸信息率需滿足R>H(U)，才能實現(xiàn)無失真編碼；對于兩個信源U1和U2聯(lián)合編碼，傳輸信息率需滿足R>H(U1,U2)，才能使譯碼錯誤概率為任意小。,,采用二個獨立的編碼器：R1>H(U1), R2>H(U2)? R=R1+R2=H(U1)+H(U2)二個信源相關(guān)：R=?? R>H(

18、U1,U2),例8-4 設(shè)信源U0和U1相互獨立， 若U2=U0?U1，則 H(U1)=H(U2)=1 bit/sym H(U2/U1)=H(U0)=0.5 bit/sym因此，在已知X的情況下，要確定U2只需0.5 bit，而不需1 bit，因為U1與U2有關(guān)聯(lián)性，已知U1時，已提供了一些關(guān)于U2的信息量，因此只需再獲得H(U2/U1)的信息量，就能完全確定U2。,邊信息,由此可見，編碼時只

19、需保證： R1 >H(U1)，R2>H(U2/U1)，R?H(U1)+H(U2/U1)=H(U1,U2)這種U1所能提供關(guān)于U2的信息，或U2所能提供關(guān)于U1的信息，稱為邊信息。,相關(guān)信源編碼定理(Slepian-Wolf)： 對于任意離散無記憶信源X1和X2，所有的可達速率對(R1,R2)滿足,相關(guān)信源編碼逆定理：如果速率對(R1,R2)不滿足上式，則無論n多大，平均譯碼錯誤概率Pe>?。

20、,8.4.2 具有邊信息的信源編碼,若兩個信源U1和U2之間統(tǒng)計相關(guān)，且兩個信源之間有相互通信聯(lián)絡(luò)。由于有了邊信息(side information)，這樣協(xié)同編碼應(yīng)該比單獨編碼更有效。,具有邊信息信源編碼定理：信源U1以速率R1編碼，信源U2以速率R2編碼，對于離散無記憶信源U1，若譯碼器含有來自信源U2的邊信息，則當且僅當存在無失真信源編碼，使其譯碼錯誤概率為任意小。其中 Z 為離散隨機變量，它使U1→U2→Z構(gòu)成馬氏鏈。,第8