SVM在決策樹歸納中的應(yīng)用.pdf

1、決策樹歸納學(xué)習(xí)算法是機器學(xué)習(xí)中最重要的算法之一。目前通常采用啟發(fā)式方法來構(gòu)建決策樹，因此探索各種啟發(fā)式算法成了決策樹研究的一個焦點。支持向量機（SVM）是基于統(tǒng)計學(xué)習(xí)理論的一種小樣本學(xué)習(xí)方法，考慮到支持向量機的分類間隔與泛化能力的關(guān)系，可以將SVM應(yīng)用于決策樹的歸納過程，使用最大間隔作為生成決策樹的啟發(fā)式信息，使得決策樹有較強的泛化能力。本課題基于統(tǒng)計學(xué)習(xí)理論和支持向量機，對小樣本下用最大間隔作為啟發(fā)式的決策樹歸納學(xué)習(xí)進行了研究。

2、>　　 本文在深入分析支持向量機及其反問題的基礎(chǔ)上，將支持向量機的最大間隔理論應(yīng)用到了決策樹的歸納過程。首先，對支持向量機基本問題及其快速求解算法進行了探討，在此基礎(chǔ)上討論了支持向量機反問題及其求解，給出了利用k-means聚類求解支持向量機反問題的算法。然后，討論了SVM在決策樹歸納中的應(yīng)用，給出了用最大間隔作為啟發(fā)式生成決策樹的設(shè)計算法，并對算法進行了分析。最后，給出了實驗過程，與用熵作啟發(fā)式的二叉決策樹的比較結(jié)果表明了本文算法的