第3章信道容量

1、3.2.2 幾種特殊離散信道的信道容量,一、離散無(wú)噪信道的信道容量 離散無(wú)噪信道的輸出Y與輸入X之間有著確定的關(guān)系，一般有以下三類：,1.具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道 （無(wú)損確定信道）2.具有擴(kuò)展性能的無(wú)噪信道（無(wú)損信道）3.具有歸并性能的無(wú)噪信道（確定信道）,1,損失熵H(X/Y)與噪聲熵H(Y/X),H(X/Y)稱為損失熵，即信道疑義度。表示信源符號(hào)通過(guò)有噪信道傳輸后引起的信息量的損失。 因?yàn)镠(X/Y

2、)=H(X)-I(X;Y) 損失熵等于信源X所含有的信息量減去信道輸出端接收到符號(hào)集Y之后平均每個(gè)符號(hào)所獲得的關(guān)于輸入集X的信息量。H(Y/X)稱為噪聲熵，反映了信道中噪聲源的不確定性。 因?yàn)镠(Y/X)=H(Y)-I(X;Y) 噪聲熵等于輸出信源Y所含有的信息量減去信道輸出端接收到符號(hào)集Y之后平均每個(gè)符號(hào)所獲得的關(guān)于輸入集X的信息量。,2,1.具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)損確定信道）,無(wú)損確定信道的

3、輸入和輸出是一一對(duì)應(yīng)關(guān)系，如右圖所示。,3,1.具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)損確定信道）,X和Y有確定的對(duì)應(yīng)關(guān)系，即已知X后Y沒(méi)有不確定性，反之，亦然。信道的噪聲熵H(Y/X)和損失熵H(X/Y)均等于零。故無(wú)損確定信道的平均互信息為 I(X;Y)=H(X)=H(Y) 它表示信道輸出端接收到符號(hào)Y后，平均獲得的信息量就是信源發(fā)出每個(gè)符號(hào)所含有的平均信息量，信道中沒(méi)有損失信息。當(dāng)信源等概分布時(shí)，具有一

4、一對(duì)應(yīng)的確定關(guān)系的無(wú)噪信道達(dá)到其信道容量，其值就是信源X的最大熵值。,4,2.具有擴(kuò)展性能的無(wú)噪信道（無(wú)損信道）,無(wú)損信道的一個(gè)輸入對(duì)應(yīng)多個(gè)互不相交的輸出，如右圖所示。信道矩陣中每列中只有一非零元素，即已知Y后，X不再有任何不確定度。故損失熵H(X/Y)=0,5,2.具有擴(kuò)展性能的無(wú)噪信道（無(wú)損信道）,在這類信道中，因?yàn)樾旁窗l(fā)生符號(hào)xi，并不能確定在信道輸出端會(huì)發(fā)生哪個(gè)yj，因此噪聲熵H(Y/X) ＞0。于是，可求出無(wú)損信道的平均互

5、信息為 I(X;Y) = H(X) ＜H(Y)其信道容量,6,3.具有歸并性能的無(wú)噪信道（確定信道）,確定信道的一個(gè)輸出對(duì)應(yīng)著多個(gè)互不相交的輸入，如右圖所示。信道矩陣中每行中只有一非零元素，即已知X后，Y不再有任何不確定度。故噪聲熵H(Y/X)=0,7,在這類信道中，信道輸出端接收到某個(gè)yj以后，并不能斷定是哪一個(gè)輸入符號(hào)xi，因此損失熵H(X/Y) ＞0。于是，可求出確定信道的平均互信息為

6、 I(X;Y) = H(Y) ＜H(X)其信道容量 達(dá)到此類信道的信道容量的概率分布是使信道輸出分布為等概分布的輸入分布。,3.具有歸并性能的無(wú)噪信道（確定信道）,8,對(duì)于無(wú)噪信道，求信道容量C的問(wèn)題，已經(jīng)從求I(X;Y)的極值問(wèn)題退化為求H(Y)或H(X)的極值問(wèn)題。無(wú)噪信道的信道容量C只決定于信道的輸入符號(hào)n，或輸出符號(hào)數(shù)m，與信源無(wú)關(guān)，是表征信道特性的一個(gè)參量。,離散無(wú)噪信道（總結(jié)）,9,3.2.2

7、 幾種特殊離散信道的信道容量,信道矩陣具有對(duì)稱性的特殊信道,二、強(qiáng)對(duì)稱離散信道 （均勻信道）三、對(duì)稱離散信道四、準(zhǔn)對(duì)稱離散信道,10,二、強(qiáng)對(duì)稱離散信道（均勻信道）,如果信道輸入符號(hào)和輸出符號(hào)個(gè)數(shù)相同，且信道矩陣為 則稱此信道為強(qiáng)對(duì)稱信道或均勻信道。信道矩陣中不僅每行之和等于1,每列之和也等于1。,11,強(qiáng)對(duì)稱信道的幾個(gè)特性,強(qiáng)對(duì)稱信道是對(duì)稱信道的一個(gè)特例；輸入符號(hào)數(shù)與輸出符號(hào)數(shù)相等；信道中總的錯(cuò)誤概率為p，

8、對(duì)稱地平均分配給n-1個(gè)輸出符號(hào)，n為輸入符號(hào)的個(gè)數(shù)；均勻信道中不僅各行之和為1,而且各列之和也為1。 一般信道各列之和不一定等于1,12,,強(qiáng)對(duì)稱信道的信道容量C,13,,二進(jìn)制均勻信道的信道容量C,p,C,14,,離散輸入對(duì)稱信道,定義：若一個(gè)離散無(wú)記憶信道的信道矩陣中，每一行都是其它行的同一組元素的不同排列，則稱此類信道為離散輸入對(duì)稱信道。 矩陣的行是可排列的。,15,,離散輸出對(duì)稱信道,定義：若一個(gè)離散無(wú)記

9、憶信道的信道矩陣中，每一列都是其它列的同一組元素的不同排列，則稱此類信道為離散輸出對(duì)稱信道。 矩陣的列是可排列的。,16,,三、對(duì)稱離散信道,定義：若一個(gè)離散無(wú)記憶信道是關(guān)于輸入和輸出對(duì)稱的，這類信道稱為對(duì)稱信道。 矩陣具有可排列性：矩陣的行和列都是可排列的。,17,,對(duì)稱信道的信道容量C,18,對(duì)稱信道的信道容量C（例）,19,,四、準(zhǔn)對(duì)稱離散信道,定義：若一個(gè)離散無(wú)記憶信道的信道矩陣中，按照信道的輸出集Y（即信道矩陣的列