概率論習(xí)題

1、六、計(jì)算（每題六、計(jì)算（每題1010分）分）（2020道）道）1、設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)刻且不論以前發(fā)生過(guò)什么符號(hào)，均按P（0）=0.4，P(1)=0.6的概率發(fā)出符號(hào)。試計(jì)算：（1）H（X2）（2）H（X3X1X2）（3）)(limXHN??解：解：根據(jù)題意，此信源在任何時(shí)刻發(fā)出的符號(hào)概率都是相同的，即概率分布與時(shí)間平移無(wú)關(guān)，且信源發(fā)出的序列之間也是彼此無(wú)依賴(lài)的，所以這個(gè)信源是平穩(wěn)信源，且是離散無(wú)記憶信源。Ｈ

2、（Ｘ）Ｈ（Ｘ）＝0.4LOG20.40.6LOG20.6≈0.971比特／符號(hào)Ｈ（ＸＨ（Ｘ2）＝2Ｈ（Ｘ）Ｈ（Ｘ）≈1.942比特／二符號(hào)Ｈ（ＸＨ（Ｘ3|Ｘ1Ｘ2）＝Ｈ（ＸＨ（Ｘ3）＝Ｈ（Ｘ）Ｈ（Ｘ）≈0.971比特／符號(hào))(limXHN??=lim1NH(X1X2…XＮ)＝lim1NNＨ（Ｘ）＝Ｈ（Ｘ）≈0.971比特／符號(hào)２、已知信源X和條件概率P（YX）如下：?????????????2121)(21xxXPX??????????

3、???43414143)(22211211xyxyxyxyXYPXY試計(jì)算：H（X）、H（Y）、H（XY）、H（XY）、H（YX）、Ｉ(X；Y)解：解：根據(jù)題意，(1)由p(xiyj)=p(xi)p(yjxi)，求出各聯(lián)合概率：p(x１y１)=p(x１)p(y１|x１)＝1234＝0.375p(x１y２)=p(x１)p(y２|x１)＝1214＝0.125p(x２y１)=p(x２)p(y１|x２)＝1214＝0.125p(x２y２)=p(

4、x２)p(y２|x２)＝1234＝0.375(2)由p(yj)=∑i=1np(xiyj)，得到Ｙ集合消息概率：p(y１)=∑i=1２p(xiy１)＝p(x１y１)p(x２y１)=0.3750.125=0.5p(y２)=∑i=1２p(xiy２)＝1p(y１)=10.5=0.5(3)由p(xi|yj)=p(xiyj)p(yi)，求出X的各后驗(yàn)概率：p(x１|y１)=p(x１y１)p(y１)＝0.3750.5=0.75p(x2|y１)=p(x

5、2y１)p(y１)＝0.1250.5=0.25p(x１|y2)=p(x１y2)p(y2)＝0.1250.5=0.25p(x2|y2)=p(x2y2)p(y2)＝0.3750.5=0.75(4)Ｈ（Ｘ）＝∑i=1２p(xi)ＬＯＧ２P(xi)＝0.5LOG20.50.5LOG20.5=1比特符號(hào)Ｈ（Y）＝∑i=1２p(yi)ＬＯＧ２P(yi)＝0.5LOG20.50.5LOG20.5=1比特符號(hào)Ｈ（ＸY）＝∑i=1２∑j=1２p(xiyj

6、)ＬＯＧ２P(xiyj)＝20.375LOG20.37520.125LOG20.125=1比特符號(hào)(5)平均互信息：I(XY)=H(X)H(Y)H(XY)=111=1比特符號(hào)(6)疑義度：H(X|Y)=∑i=1２∑j=1２p(xiyj)ＬＯＧ２P(xi|yj)＝20.375LOG20.7520.125LOG20.25=234log3=20.93875=1.0615比特符號(hào)(7)噪聲熵：H(Y|X)=∑i=1２∑j=1２p(xiyj)ＬＯ

7、Ｇ２P(yj|xi)＝20.375LOG20.7520.125LOG20.25Ｐz（z）=P(x)P(y)=P(x)P(y)z=xy?Y?X所以得H(Z)=P(z)LOGP(z)?Z=log236[436log22636log23836log241036log25636log26]=log236[26361236log231036log25]≈5.171.896=3.274比特(5)在這36種狀態(tài)中兩個(gè)點(diǎn)數(shù)中至少有一個(gè)數(shù)是１的狀態(tài)共有１

8、１種，每種狀態(tài)是獨(dú)立出現(xiàn)的，每種狀態(tài)出現(xiàn)的概率是１３６。現(xiàn)設(shè)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)數(shù)是１的事件為Ｃ事件，則得Ｐ(C)=1136所以得Ｉ(C)=－LOGP(C)=－LOG21136≈1.71比特４、某校入學(xué)考試中有１4考生被錄取，34考生未被錄取。被錄取的考生中有50%來(lái)自本市，而落榜考生中有10%來(lái)自本市。所有本市的考生都學(xué)過(guò)英語(yǔ)。而外地落榜考生以及被錄取的外地考生中都有40%學(xué)過(guò)英語(yǔ)。(1)當(dāng)已知考生來(lái)自本市時(shí)，給出多少關(guān)于考生是否被錄

9、取的信息；(2)當(dāng)已知考生學(xué)過(guò)英語(yǔ)時(shí)，給出多少有關(guān)考生是否被錄取的信息；(3)以x表示是否落榜，y表示是否為本市學(xué)生，z表示是否學(xué)過(guò)英語(yǔ)，試求H(X)、H(YX)、H(ZXY)。解：解：設(shè)X表示是否落榜，其值為a1=被錄取，a2＝落榜；Ｙ表示是否為本市學(xué)生，其值為b1=本市，b2＝外地；Ｚ表示是否學(xué)過(guò)英語(yǔ)，其值為c1=學(xué)過(guò)，c2＝?jīng)]學(xué)過(guò)。根據(jù)題意，P(a1)=14P(a2)=34P(b1a1)=0.5P(b1a2)=0.1P(b2a1)

10、=0.5P(b2a2)=0.9P(c1b1)=1P(c1a2b2)=0.4P(c1a1b2)=0.4P(c2b1)=0P(c2a2b2)=0.6P(c2a1b2)=0.6可計(jì)算得P(b1)=51)()(121???iiiabpapP(b2)=54)()(221???iiiabpapP(a1b2)=325)()()(2121?bpabpapP(a2b2)=3227)()()(2222?bpabpapP(c1b2)=52)()(21212?