基于粗糙集的決策樹算法研究.pdf

1、數(shù)據(jù)挖掘是利用分析工具從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取出隱含在其中、事先未知、潛在有用的信息和知識(shí)的過程,建立數(shù)據(jù)間關(guān)系模型,用其做出預(yù)測,從而為決策者提供輔助。分類是數(shù)據(jù)挖掘的重要研究內(nèi)容之一。決策樹是一種有效的用于分類的數(shù)據(jù)挖掘方法,以其能直接體現(xiàn)數(shù)據(jù)特點(diǎn),分類效率高、速度快、理解性好等特點(diǎn)在數(shù)據(jù)挖掘及其它領(lǐng)域中被廣泛使用,如醫(yī)療診斷、天氣預(yù)測、信用證實(shí)、顧客區(qū)分、欺詐甄別等領(lǐng)域。
　　波蘭數(shù)學(xué)家Z.P

2、awlak于1982年提出的粗糙集理論是一種新的處理模糊和不確定性知識(shí)的數(shù)學(xué)工具。其主要思想就是在保持分類能力不變的前提下,通過知識(shí)約簡,導(dǎo)出問題的決策或分類規(guī)則。目前,粗糙集理論已成功地應(yīng)用于機(jī)器學(xué)習(xí)、決策分析、過程控制、模式識(shí)別與數(shù)據(jù)挖掘等領(lǐng)域。粗糙集在數(shù)據(jù)挖掘的過程中,可用于數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理部分。本文正是以此為出發(fā)點(diǎn),以粗糙集理論應(yīng)用于數(shù)據(jù)挖掘數(shù)據(jù)預(yù)處理的相關(guān)步驟為線索,對(duì)粗糙集理論中的幾個(gè)關(guān)鍵問題進(jìn)行了深入地研究。全文重點(diǎn)論

3、述的內(nèi)容如下:
　　(1)屬性約簡算法
　　到目前為止還沒有一個(gè)公認(rèn)的、高效的約簡算法。本文提出了一種新的屬性重要性度量方法。與基于互信息增益的方法不同的是:這種度量方法不僅考慮了屬性的值域的大小,而且還考慮了取值的分布。基于此度量,構(gòu)造了相應(yīng)的啟發(fā)式算法,對(duì)多個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明該方法能更有效地對(duì)決策系統(tǒng)進(jìn)行約簡。
　　(2)決策規(guī)則提取算法
　　本文針對(duì)不一致決策系統(tǒng),提出了一種修改的基于分類一致性的規(guī)則獲

4、取算法,對(duì)每個(gè)決策類計(jì)算出相應(yīng)的下近似集與上近似集,然后用決策類的下近似集獲得確定性規(guī)則,上近似集獲得概率性規(guī)則。在規(guī)則獲取時(shí)采用屬性重要性方法,與LEM2相比,它能一次獲得多條規(guī)則。通過對(duì)Hayes數(shù)據(jù)集的實(shí)驗(yàn)表明了算法的有效性。
　　(3)改進(jìn)的決策樹算法
　　本章針對(duì)決策樹方法中的經(jīng)典算法C4.5抗干擾能力不足的缺點(diǎn),利用可變精度粗糙集理論柔化邊界的思想,對(duì)決策樹算法進(jìn)行改進(jìn)。最后,通過實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證,表明我們所改進(jìn)后的