決策樹(shù)過(guò)擬合問(wèn)題研究.pdf

1、數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)是(Knowledge Discovery in Databases，簡(jiǎn)稱KDD)是當(dāng)前涉及人工智能和數(shù)據(jù)庫(kù)等學(xué)科的一門相當(dāng)活躍的研究領(lǐng)域，分類是其中的一個(gè)重要研究方向。決策樹(shù)是分類中常用的模型之一，自1966年被提出以來(lái)已經(jīng)得到了廣泛的研究和應(yīng)用。然而，由于種類偏見(jiàn)，過(guò)擬合等問(wèn)題，使決策樹(shù)優(yōu)化成為研究人員關(guān)注的熱點(diǎn)。 本文基于針對(duì)可疑實(shí)例分析以及結(jié)點(diǎn)純度差變化趨勢(shì)兩個(gè)方面分別對(duì)決策樹(shù)構(gòu)造算法中的過(guò)擬合問(wèn)題處理展開(kāi)

2、研究，主要工作如下： 1.綜述并分析了現(xiàn)有決策樹(shù)經(jīng)典算法及主要優(yōu)化算法。 2.提出了基于可疑實(shí)例影響度分析的改進(jìn)的C4.5rules算法，將可疑實(shí)例進(jìn)行有效劃分，并計(jì)算其全局影響度大小，使得分類規(guī)則能有效避開(kāi)可疑實(shí)例而更加正確的反應(yīng)數(shù)據(jù)的真實(shí)情況。 3.針對(duì)傳統(tǒng)決策樹(shù)過(guò)擬合現(xiàn)象普遍且大多數(shù)預(yù)剪枝算法嚴(yán)重依賴領(lǐng)域知識(shí)的問(wèn)題，提出基于結(jié)點(diǎn)純度差(PDN，Purity Distance of Node)變化趨勢(shì)的決策樹(shù)