貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)及其應(yīng)用研究.pdf

1、現(xiàn)實(shí)世界中存在著大量的不確定性現(xiàn)象，建立有效的模型是對不確定性問題正確決策的關(guān)鍵。針對問題領(lǐng)域中變量之間的不確定性關(guān)系，貝葉斯網(wǎng)絡(luò)提供了一種緊湊、直觀且有效的圖形表達(dá)方式。建立高效穩(wěn)定的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法是貝葉斯網(wǎng)絡(luò)走向應(yīng)用的關(guān)鍵所在，多年來，貝葉斯網(wǎng)絡(luò)學(xué)習(xí)及其應(yīng)用一直是國內(nèi)外研究的熱門課題。本文在對貝葉斯網(wǎng)絡(luò)的國內(nèi)外研究現(xiàn)狀進(jìn)行全面分析的基礎(chǔ)上，針對結(jié)構(gòu)學(xué)習(xí)目前所面臨的收斂速度慢和可能收斂于局部最優(yōu)兩大主要問題，對數(shù)據(jù)完備和數(shù)據(jù)缺失兩

2、種情況下的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)進(jìn)行了研究，并進(jìn)一步地對貝葉斯網(wǎng)絡(luò)在靈敏度分析和頻繁模式挖掘中的應(yīng)用進(jìn)行了研究。全文主要內(nèi)容如下：
　　 1.貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)研究
　　 ①數(shù)據(jù)完備情況下貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)：研究發(fā)現(xiàn)MCMC方法抽樣過程產(chǎn)生的馬爾可夫鏈具有各態(tài)遍歷性，并能保證最終收斂于平穩(wěn)分布，因而具有良好的精度。MHS是最常用的MCMC方法之一，但MHS算法抽樣過程的融合性差，收斂速度較慢。本文從初始值、建議分布和對網(wǎng)

3、絡(luò)子結(jié)構(gòu)的抽樣三個(gè)方面對MHS抽樣算法進(jìn)行改進(jìn)，提出了一種貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法PCMHS，該算法同時(shí)進(jìn)行多個(gè)MHS抽樣，構(gòu)建多條并行的收斂于Boltzmann分布的馬爾可夫鏈。算法PCMHS首先基于節(jié)點(diǎn)之間的互信息，進(jìn)行所有馬爾可夫鏈的初始化，在其迭代過程中，算法PCMHS基于并行的上一代抽樣的樣本總體得到產(chǎn)生下一代個(gè)體的建議分布，并通過同時(shí)對網(wǎng)絡(luò)中弧和子結(jié)構(gòu)的抽樣產(chǎn)生下一代個(gè)體。算法PCMHS能收斂于網(wǎng)絡(luò)結(jié)構(gòu)的平穩(wěn)分布，因而具有良好

4、的學(xué)習(xí)精度，而該算法又通過使其初始分布和建議分布近似于其平穩(wěn)分布，有效地提高了抽樣過程的收斂速度。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果也驗(yàn)證了算法PCMHS的學(xué)習(xí)效率和學(xué)習(xí)精度明顯優(yōu)于經(jīng)典算法MHS和PopMCMC。
　　 ②數(shù)據(jù)缺失情況下貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)：針對數(shù)據(jù)缺失嚴(yán)重情況下，具有缺失數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法存在的學(xué)習(xí)效率偏低和易于陷入局部最優(yōu)等問題，本文建立了一種具有缺失數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法BC-ISOR，該算法基于界

5、定折疊方法從缺失數(shù)據(jù)集學(xué)習(xí)不同變量子集的概率分布，然后基于依賴分析方法進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)。針對屬性個(gè)數(shù)不超過30的數(shù)據(jù)集，算法BC-ISOR可以通過一遍掃描數(shù)據(jù)集得到所有已經(jīng)發(fā)生的實(shí)例數(shù)和可能的實(shí)例數(shù)，其對缺失數(shù)據(jù)的處理效率與數(shù)據(jù)的缺失率無關(guān)，并通過在結(jié)構(gòu)學(xué)習(xí)的過程中采用啟發(fā)式切割集搜索算法和在冗余邊檢驗(yàn)之前識(shí)別出所有的邊的方向來降低條件獨(dú)立性檢驗(yàn)的次數(shù)和階數(shù)，因而具有良好的學(xué)習(xí)性能。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明該算法具有良好的學(xué)習(xí)效率

6、和學(xué)習(xí)精度。
　　 2.貝葉斯網(wǎng)絡(luò)的應(yīng)用研究
　　 學(xué)習(xí)貝葉斯網(wǎng)絡(luò)的目的是基于貝葉斯網(wǎng)絡(luò)的推理開展貝葉斯網(wǎng)絡(luò)的應(yīng)用研究。
　　 ①貝葉斯網(wǎng)絡(luò)的靈敏度分析，貝葉斯網(wǎng)絡(luò)的靈敏度分析基于連接樹推理算法，主要包括證據(jù)重要性分析和參數(shù)靈敏度分析。Shafer-Shenoy和Hugin算法設(shè)計(jì)了兩種不同的基于連接樹的推理分析算法的消息傳播方式，相比于Shafer-Shenoy算法，Hugin算法具有較高的推理分析效率，但在鄰

7、接樹中存在零因子的情況下不能保證能夠通過局部計(jì)算進(jìn)行靈敏度分析，針對這一問題，本文通過在Hugin算法的消息傳播過程中引入零因子標(biāo)志位和零因子處理機(jī)制，提出了一種用于進(jìn)行靈敏度分析的Hugin算法的改進(jìn)算法R-Hugin，并從理論和實(shí)驗(yàn)兩個(gè)方面證明了R-Hugin算法的正確性和有效性。
　　 ②基于貝葉斯網(wǎng)絡(luò)的頻繁模式發(fā)現(xiàn)：本文采用貝葉斯網(wǎng)絡(luò)表示領(lǐng)域知識(shí)，提出一種基于領(lǐng)域知識(shí)的頻繁項(xiàng)集和頻繁屬性集的興趣度計(jì)算和剪枝方法BN-EJ

8、TR，其目的在于發(fā)現(xiàn)當(dāng)前領(lǐng)域知識(shí)不一致的知識(shí)，以解決頻繁模式挖掘所面臨的有趣性和冗余問題。針對興趣度計(jì)算過程中批量推理的需求，BN-EJTR提供了一種基于擴(kuò)展鄰接樹消元的貝葉斯網(wǎng)絡(luò)推理算法，用于計(jì)算大量項(xiàng)集在貝葉斯網(wǎng)絡(luò)中的支持度，同時(shí)BN-EJTR提供了一種基于興趣度閾值和拓?fù)溆腥ば缘募糁λ惴?，?shí)驗(yàn)結(jié)果表明：與同類方法相比方法BN-EJTR具有良好的時(shí)間性能，而且剪枝效果明顯，分析發(fā)現(xiàn)經(jīng)過剪枝后的頻繁屬性集和頻繁項(xiàng)集相對于領(lǐng)域知識(shí)符合有