特征變換在組合分類中的應(yīng)用研究.pdf

1、組合分類方法是機(jī)器學(xué)習(xí)領(lǐng)域逐漸發(fā)展起來(lái)的用于提高弱分類器準(zhǔn)確性的有效方法,被認(rèn)為是十幾年來(lái)研究的最好的學(xué)習(xí)算法之一。大量的理論和實(shí)驗(yàn)研究表明:與單個(gè)分類模型相比,組合分類模型具有明顯的優(yōu)勢(shì)。
　　 在組合分類中,影響組合分類器性能的一個(gè)重要因素足各個(gè)基分類器間的差異性。不同的組合算法通常采用不同的方法來(lái)保證這種的差異。經(jīng)典組合分類算法如Bagging、Boosting,都是從訓(xùn)練樣本的角度出發(fā)采用隨機(jī)抽樣的方法來(lái)生成不同的基分類

2、器。隨機(jī)抽樣能夠保證基分類器的差異,但它也有缺陷一一存在丟失信息的風(fēng)險(xiǎn),特別是在訓(xùn)練樣本集很小的情況下,這個(gè)問(wèn)題就更突出了。
　　 我們從RotationForest算法中得到啟發(fā),通過(guò)對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行特征變換來(lái)保證基分類器的差異度。由此我們提出了一種新的組合分類算法--ICATrees。與傳統(tǒng)的建立組合分類器方法不同是,此算法在建立組合分類器時(shí)是從數(shù)據(jù)集的特征屬性出發(fā),通過(guò)隨機(jī)劃分、特征變換ICA,將訓(xùn)練數(shù)據(jù)集映射到不同的特征