基于屬性選擇加權(quán)的樸素貝葉斯算法的改進與應(yīng)用.pdf

1、隨著信息技術(shù)的普及、大數(shù)據(jù)時代的到來，數(shù)據(jù)深度分析的需求也越來越大，數(shù)據(jù)挖掘技術(shù)便是一種實現(xiàn)從信息到知識轉(zhuǎn)變的有效工具。而樸素貝葉斯算法是國際權(quán)威的數(shù)據(jù)挖掘?qū)W術(shù)會議評選出來的數(shù)據(jù)挖掘領(lǐng)域的十大經(jīng)典算法之一，樸素貝葉斯模型發(fā)源于古典概率論，有著堅實的數(shù)學基礎(chǔ)，以及穩(wěn)定的分類效率。同時，它所需估計的參數(shù)少，對缺失數(shù)據(jù)不太敏感，算法也比較簡單。理論上，樸素貝葉斯模型與其他分類算法相比具有最小的誤差率。但是由于其假設(shè)屬性之間相互獨立，而實際應(yīng)用

2、中這個假設(shè)往往不成立。在屬性個數(shù)較多或者屬性之間相關(guān)性較大時，模型性能會降低。
　　本文主要針對樸素貝葉斯算法的不足在屬性選擇和屬性加權(quán)兩個方面對其進行改進。在屬性選擇方面，先引入信息價值指標，得到第一個與類別相關(guān)度較高的屬性子集，然后在此基礎(chǔ)上進一步過濾冗余屬性，得到第二個屬性子集，分別在這兩個屬性子集上構(gòu)造樸素貝葉斯分類模型。分析發(fā)現(xiàn)對初始屬性集合進行兩次屬性選擇構(gòu)造的樸素貝葉斯分類模型既實現(xiàn)了屬性降維的目的又提高了分類準確率

3、。在屬性加權(quán)方面，通過層次分析法量化經(jīng)驗知識，對樣本訓(xùn)練的權(quán)值進行調(diào)整，得到更加全面的權(quán)值，根據(jù)屬性取值的重要程度對樸素貝葉斯分類計算公式中的后驗概率加權(quán)，提高分類準確率。然后結(jié)合屬性選擇和屬性加權(quán)的優(yōu)勢，對樸素貝葉斯算法進行選擇加權(quán)，該算法先通過信息價值指標對初始屬性集進行二次屬性選擇，再通過層次分析法計算權(quán)值，在最優(yōu)屬性子集上構(gòu)造加權(quán)樸素貝葉斯分類器，并在通用數(shù)據(jù)集上進行實驗驗證。最后將改進的樸素貝葉斯算法合理地應(yīng)用到電信行業(yè)的垃圾