面向不平衡數(shù)據(jù)的支持向量機(jī)決策樹多分類方法研究.pdf

1、在本論文中主要考慮類數(shù)據(jù)不平衡的多類分類問(wèn)題。由于分類算法在處理不平衡數(shù)據(jù)集分類問(wèn)題時(shí)會(huì)偏向多數(shù)類，導(dǎo)致對(duì)少數(shù)類的分類精度偏低，因此有必要對(duì)不平衡數(shù)據(jù)進(jìn)行處理，使整體和少數(shù)類的分類精度得以提高。針對(duì)多類分類問(wèn)題，目前在用于解決兩類分類問(wèn)題的支持向量機(jī)算法的基礎(chǔ)上已經(jīng)發(fā)展起來(lái)了一系列多類分類算法，支持向量機(jī)決策樹算法就是其中之一。通過(guò)改進(jìn)支持向量機(jī)決策樹算法提出新的多類分類算法。
　　本論文的主要研究工作包括以下幾方面:
　　

2、(1)目前大多數(shù)基于信息度量的特征選擇算法都是在整個(gè)樣本空間上進(jìn)行的，一旦樣本數(shù)據(jù)集確定后，信息熵在整個(gè)樣本空間上是固定不變的，顯然這沒有考慮到特征選擇是一個(gè)動(dòng)態(tài)變化的過(guò)程，因此本文在信息熵變化過(guò)程中對(duì)特征不斷優(yōu)化，通過(guò)對(duì)動(dòng)態(tài)變化的信息熵估值，選出最優(yōu)特征子集。
　　(2)在數(shù)據(jù)層面改善數(shù)據(jù)的不平衡性。由于過(guò)采樣方法通常會(huì)增加大量重復(fù)樣本，從而增加分類訓(xùn)練時(shí)間。而欠采樣則會(huì)導(dǎo)致部分有用信息的丟失。因此本文在鄰域清理欠采樣方法的基礎(chǔ)

3、上進(jìn)行改進(jìn)，對(duì)多數(shù)類樣本集的邊界數(shù)據(jù)通過(guò)一定的規(guī)則進(jìn)行篩選，對(duì)于少數(shù)類樣本結(jié)合SMOTE方法，有效避免了采用單種采樣方法存在的缺陷。這是本論文的第一個(gè)創(chuàng)新之處。
　　(3)支持向量機(jī)決策樹多分類方法在分類過(guò)程中，由于決策樹上一節(jié)點(diǎn)的錯(cuò)分會(huì)增加下一節(jié)點(diǎn)的誤差，造成誤差累積現(xiàn)象;另外數(shù)據(jù)集類別間的不平衡性，也會(huì)使分類超平面發(fā)生偏移，導(dǎo)致誤差累積現(xiàn)象更加嚴(yán)重。因此本文在基于決策樹的SVM多分類方法的基礎(chǔ)上進(jìn)行改進(jìn)，利用改進(jìn)的采樣方法均衡

4、樣本數(shù)據(jù)集，并在決策樹生成的過(guò)程中不斷優(yōu)化，對(duì)優(yōu)先分離的數(shù)據(jù)集進(jìn)行再分類，以提高決策樹節(jié)點(diǎn)處的分類精度，構(gòu)建合理的決策樹，減少“誤差累積”。這是本論文的第二個(gè)創(chuàng)新之處。
　　(4)將本文改進(jìn)的支持向量機(jī)決策樹多類分類方用于5個(gè)UCI標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行數(shù)值實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示:采用改進(jìn)的支持向量機(jī)決策樹多類分類算法可以提高整體和少數(shù)類的分類精度。雖然在訓(xùn)練和分類時(shí)間上有所增加，但仍在可接受的范圍內(nèi)。此外本文將提出的新方法應(yīng)用到葡萄酒質(zhì)量