非平衡大數(shù)據(jù)應(yīng)用領(lǐng)域的多決策樹及其分布式計算理論研究.pdf

1、隨著計算機的廣泛普及和信息技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生的數(shù)據(jù)呈現(xiàn)大量和非平衡分布特點。分類預(yù)測器作為數(shù)據(jù)挖掘的重要技術(shù)之一，可以判斷數(shù)據(jù)未來的發(fā)展趨勢，發(fā)現(xiàn)數(shù)據(jù)潛在的價值。傳統(tǒng)的分類預(yù)測器模型主要考慮總體分類準(zhǔn)確率性能，對非平衡數(shù)據(jù)分類效果較差，容易忽略具有重要價值的少數(shù)類數(shù)據(jù)。此外，面對大規(guī)模訓(xùn)練數(shù)據(jù)時，普通性能計算設(shè)備由于存儲空間及內(nèi)存有限，導(dǎo)致算法計算效率低下甚至系統(tǒng)失效。
　　本研究主要內(nèi)容包括：⑴提出了一種基于代價敏感的

2、混合屬性選擇策略。詳細(xì)分析和對比了幾種決策樹算法的性能異同。結(jié)合 C4.5算法的信息增益率和 CART(Classification and Regression Tree)算法的Gini系數(shù)提出基于混合策略的決策樹分裂點最佳屬性選擇指標(biāo)。針對非平衡數(shù)據(jù)集，采用代價敏感方法以提高少數(shù)類分類性能，減少因少數(shù)類誤判導(dǎo)致的分類誤差較大問題。實驗結(jié)果表明，這種分裂點最佳屬性選擇策略，在保證多數(shù)類分類準(zhǔn)確率的前提下，大幅提高了少數(shù)類分類準(zhǔn)確性。⑵

3、提出了一種基于全屬性信息分裂的改進(jìn)隨機森林多決策樹算法。為了提高決策樹算法的分類準(zhǔn)確性，同時考慮根節(jié)點信息對決策樹的影響，本文在隨機森林的基礎(chǔ)上，改進(jìn)其因隨機選擇訓(xùn)練數(shù)據(jù)和屬性導(dǎo)致的少數(shù)類欠學(xué)習(xí)問題，采用基于不同根節(jié)點的全屬性建樹方法。實驗結(jié)果表明，基于不同根節(jié)點信息的改進(jìn)隨機森林多決策樹算法保證了較高的少數(shù)類分類準(zhǔn)確性，并大幅提高整體準(zhǔn)確性。⑶設(shè)計和實現(xiàn)了大數(shù)據(jù)分布式存儲和計算平臺。針對大規(guī)模非平衡數(shù)據(jù)集，本文根據(jù)現(xiàn)有的硬件設(shè)備，構(gòu)建

4、了Hadoop分布式存儲和計算平臺，可保證數(shù)據(jù)的高可靠性和高存儲能力以及高效的分布式計算能力。并進(jìn)一步根據(jù)本文分布式多決策樹算法進(jìn)行了環(huán)境參數(shù)設(shè)置和調(diào)優(yōu)，以使平臺計算性能處于最佳狀態(tài)。⑷提出了一種新的分布式多決策樹算法計算模型。研究了算法準(zhǔn)確率、執(zhí)行時間與樣本大小的關(guān)系，得到結(jié)論：可以針對不同的數(shù)據(jù)集確定一個合適規(guī)模的訓(xùn)練樣本使得算法準(zhǔn)確率在該規(guī)模下一直保持較高水平。根據(jù)這一結(jié)論，本文提出了一種將MapReduce粗粒度計算和線程細(xì)粒度