基于不完整數(shù)據(jù)處理方法的貝葉斯分類器研究.pdf

1、隨著數(shù)據(jù)庫、數(shù)據(jù)倉庫以及Internet技術(shù)的應(yīng)用發(fā)展，使得數(shù)據(jù)挖掘(DataMining)和知識(shí)發(fā)現(xiàn)(Knowledge Discovery)引起了大量學(xué)者與專家的關(guān)注，越來越顯示出其強(qiáng)大的生命力。分類是數(shù)據(jù)挖掘中一項(xiàng)十分重要的任務(wù)，目的是找出分類函數(shù)或者分類模型。貝葉斯網(wǎng)絡(luò)作為一種有效的知識(shí)表示方式和概率推理模型，是處理不確定信息的強(qiáng)有力圖形決策化分析工具。近年來，基于貝葉斯網(wǎng)絡(luò)的數(shù)據(jù)挖掘取得了良好的效果，成為研究熱點(diǎn)。

2、本文首先闡述了數(shù)據(jù)挖掘和數(shù)據(jù)挖掘中分類的主要的方法，介紹分析了現(xiàn)有的分類方法的定義以及作法，著重介紹了貝葉斯分類技術(shù)。貝葉斯網(wǎng)絡(luò)G=(B<,s>，B<,p>)是一個(gè)帶有概率注釋的有向無環(huán)圖，由網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)B<,s>和局部概率分布B<,p>兩部分組成。它是以貝葉斯定理、最大后驗(yàn)假設(shè)、貝葉斯網(wǎng)絡(luò)理論為基礎(chǔ)的。用于分類的貝葉斯網(wǎng)絡(luò)叫做貝葉斯分類器。貝葉斯分類器是特殊形式的貝葉斯網(wǎng)絡(luò)，變量的選取和狀態(tài)數(shù)均已確定，屬性結(jié)點(diǎn)已知，類結(jié)點(diǎn)未知。貝葉

3、斯分類器的學(xué)習(xí)包括結(jié)構(gòu)學(xué)習(xí)，參數(shù)學(xué)習(xí)和最大后驗(yàn)概率類結(jié)點(diǎn)的推理。 由于在大部分的分類系統(tǒng)能夠有效地學(xué)習(xí)是基于這樣一個(gè)前提：用于訓(xùn)練和測(cè)試的數(shù)據(jù)集是完整的，或者只有很少的特征值是不完整的，而且這些缺失值均勻分布于樣本中。事實(shí)上，由于各種原因，在許多現(xiàn)實(shí)數(shù)據(jù)庫中都存在丟失數(shù)據(jù)的現(xiàn)象，人們所能收集到的大量信息往往是不完全的(incomplete)或者稱之為缺失的(missing)數(shù)據(jù)。數(shù)據(jù)的缺失可能與某些屬性特征值的狀態(tài)有關(guān)，這時(shí)缺失

4、的數(shù)據(jù)中蘊(yùn)含著一定的信息量。大部分的分類器在處理這一類的數(shù)據(jù)集中，將所有的缺失值作為一個(gè)單獨(dú)的值來處理，這勢(shì)必會(huì)影響到分類系統(tǒng)的準(zhǔn)確性。因此對(duì)于缺失數(shù)據(jù)的取值或取值趨勢(shì)進(jìn)行預(yù)測(cè)和估計(jì)都是非常重要的，在解決實(shí)際問題時(shí)必須對(duì)缺失數(shù)據(jù)進(jìn)行正確、有效的處理。貝葉斯網(wǎng)絡(luò)具有將先驗(yàn)知識(shí)和樣本數(shù)據(jù)結(jié)合起來進(jìn)行推理的優(yōu)點(diǎn)，因此在處理缺失數(shù)據(jù)問題時(shí)，貝葉斯方法是一個(gè)強(qiáng)有力的工具。 本文主要工作從以下三個(gè)方面展開： (1)歸納簡(jiǎn)述了貝葉斯網(wǎng)

5、絡(luò)的理論基礎(chǔ)，對(duì)當(dāng)前貝葉斯分類領(lǐng)域的研究成果進(jìn)行分析，主要是樸素貝葉斯分類器NBC，樹擴(kuò)展樸素貝葉斯分類器TAN。 (2)闡述和分析了不完整數(shù)據(jù)的定義、不完整數(shù)據(jù)的產(chǎn)生機(jī)制以及處理準(zhǔn)則，對(duì)當(dāng)前處理不完整數(shù)據(jù)的研究成果進(jìn)行分析；提出了利用Robust Estimate算法和EM算法相結(jié)合處理不完整數(shù)據(jù)的方法。 (3)針對(duì)處理缺失數(shù)據(jù)的分類問題，建立了幾種處理缺失數(shù)據(jù)的貝葉斯分類器模型，其中一個(gè)重要的處理模型是利用Robu