基于粗糙集和灰色理論的決策樹(shù)算法研究.pdf

1、在決策樹(shù)分類(lèi)算法的實(shí)際應(yīng)用中，由于數(shù)據(jù)集本身經(jīng)常存在著屬性值缺失或包含冗余屬性較多的情況，同時(shí)現(xiàn)有的決策樹(shù)分支屬性選擇方法容易產(chǎn)生過(guò)多的規(guī)則，這些往往導(dǎo)致生成的決策樹(shù)規(guī)模較大。因此，進(jìn)一步改進(jìn)決策樹(shù)算法，使其更加適合數(shù)據(jù)挖掘的應(yīng)用要求，具有重要的理論和現(xiàn)實(shí)意義。
　　 本文從屬性值缺失的填補(bǔ)、屬性約簡(jiǎn)和決策樹(shù)分支屬性選擇三方面進(jìn)行研究。
　　 第一，由于基于K近鄰算法的屬性值缺失填補(bǔ)算法中沒(méi)有考慮填補(bǔ)后是否會(huì)導(dǎo)致數(shù)據(jù)沖突

2、的現(xiàn)象；對(duì)K值的選取需多次嘗試，但未必取到最優(yōu)值；而且有些填補(bǔ)是在整個(gè)數(shù)據(jù)集中進(jìn)行的，這在實(shí)際應(yīng)用中可能會(huì)導(dǎo)致填補(bǔ)的數(shù)據(jù)出現(xiàn)嚴(yán)重錯(cuò)誤。針對(duì)上述缺陷，本文利用灰色理論和粗糙集理論相結(jié)合得到GRFill(Grey theory Rough set put)屬性值缺失填補(bǔ)算法，并實(shí)現(xiàn)了平均值填補(bǔ)法和基于歐式距離的最近鄰填補(bǔ)法，填補(bǔ)完成后通過(guò)根均方誤差RMSE(Root Mean Squared Error)的大小及C4.5算法生成的決策樹(shù)的預(yù)

3、測(cè)準(zhǔn)確率來(lái)比較GRFill填補(bǔ)算法與上述兩種算法的填補(bǔ)效果。
　　 第二，針對(duì)傳統(tǒng)的基于區(qū)分矩陣的屬性約簡(jiǎn)算法的時(shí)間及空間復(fù)雜度高的缺點(diǎn)進(jìn)行改進(jìn)，實(shí)現(xiàn)了刪除冗余屬性且對(duì)決策樹(shù)性能有所改進(jìn)的RSredu(RoughSet reduct)屬性約簡(jiǎn)算法。
　　 第三，利用粗糙集理論定義條件屬性與決策屬性的分類(lèi)關(guān)系，得到了利用條件屬性與決策屬性分類(lèi)一致性大小作為分支屬性選擇標(biāo)準(zhǔn)的RDTree(RoughSet Decesion

4、Tree)決策樹(shù)算法。
　　 實(shí)驗(yàn)結(jié)果表明，GRFill填補(bǔ)算法的根均方誤差RMSE小于平均值填補(bǔ)法和基于歐式距離的最近鄰填補(bǔ)法，分類(lèi)預(yù)測(cè)準(zhǔn)確率高于平均值填補(bǔ)法和基于歐式距離的最近鄰填補(bǔ)法；經(jīng)過(guò)RSredu屬性約簡(jiǎn)算法約簡(jiǎn)后再進(jìn)行決策樹(shù)分類(lèi)，減小了決策樹(shù)的規(guī)模；利用條件屬性與決策屬性的分類(lèi)一致性大小作為分支屬性選擇標(biāo)準(zhǔn)的RDTree決策樹(shù)算法生成的決策樹(shù)葉子數(shù)及總節(jié)點(diǎn)數(shù)少于C4.5算法，準(zhǔn)確率及平均運(yùn)行時(shí)間與C4.5算法相近。最