Boosting模式識(shí)別預(yù)測方法的抗噪性研究.pdf

1、提升(Boosting)方法是一種新興的數(shù)據(jù)挖掘方法,近些年在模式識(shí)別領(lǐng)域受到廣泛關(guān)注。它的基本思想是集成多個(gè)簡單且性能一般的弱學(xué)習(xí)算法,最終形成具有高準(zhǔn)確度的估計(jì)。在分類問題下,Boosting方法通過對多個(gè)基分類器的有效整合,生成預(yù)測性能更好的集成分類器。
　　AdaBoost算法是提升算法中的代表性算法,在近年來取得很大成功,它能有效降低集成分類器的預(yù)測誤差。盡管如此,很多實(shí)驗(yàn)發(fā)現(xiàn)AdaBoost算法對噪音數(shù)據(jù)非常敏感。當(dāng)訓(xùn)

2、練集中出現(xiàn)不容忽視的類別噪音或異常數(shù)據(jù)時(shí),AdaBoost算法對弱學(xué)習(xí)算法的提升作用將受到很大制約。
　　在模式識(shí)別中,噪音過濾和嫌疑樣本修正兩種數(shù)據(jù)預(yù)處理方法常用于提高含噪音訓(xùn)練集的數(shù)據(jù)質(zhì)量。這兩種方式大都建立在專家意見或數(shù)據(jù)的粗糙認(rèn)識(shí)基礎(chǔ)上,難免出現(xiàn)決策風(fēng)險(xiǎn)。噪音過濾手段可能會(huì)犧牲正常樣本,減小可用樣本容量,造成信息損失,而修正嫌疑樣本則可能使訓(xùn)練集增加新的數(shù)據(jù)噪音。
　　目前國內(nèi)外文獻(xiàn)對AdaBoost算法在抗噪性方面

3、的改進(jìn)主要從損失函數(shù),權(quán)重更新機(jī)制和基分類器的組合方式等方向做針對性改進(jìn)。有的改進(jìn)思路主要改良算法原理,提高算法的魯棒性,而另一些則融入數(shù)據(jù)預(yù)處理手法,提出很多基于樣本數(shù)據(jù)的改進(jìn) AdaBoost算法。當(dāng)前在提高 AdaBoost算法的抗噪性方面,很少運(yùn)用置信度思想表達(dá)訓(xùn)練樣本的嫌疑大小,但置信度方法可避免對嫌疑樣本的硬性刪除或修正,還能充分體現(xiàn)決策者對樣本可靠性預(yù)判的把握程度,因此攜帶很多有價(jià)值的信息。在一些模式識(shí)別方法中出現(xiàn)的置信度

4、思想主要用于樣本的加權(quán)或表達(dá)預(yù)測的把握度。論文基于樣本類別的置信度信息,改進(jìn)提升算法的目標(biāo)函數(shù),提出一套二分類問題下基于置信度的改進(jìn)Boosting算法,為提高Boosting算法的抗噪性提供新的思路。
　　論文還分析了改進(jìn) Boosting算法的魯棒性,并與當(dāng)前文獻(xiàn)中出現(xiàn)的多種提升算法進(jìn)行比較,分析它們相互間的聯(lián)系以及本文改進(jìn)算法的突出特點(diǎn)。最后利用實(shí)驗(yàn)驗(yàn)證改進(jìn)Boosting算法的有效性。結(jié)果表明,改進(jìn)算法在人工模擬數(shù)據(jù)和UC