分類(lèi)器集成研究.pdf

1、集成學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域四個(gè)主要研究方向之一，集成是指構(gòu)建一個(gè)分類(lèi)器的集合，并通過(guò)基分類(lèi)器預(yù)測(cè)進(jìn)行(權(quán)重)投票給出新數(shù)據(jù)的分類(lèi)結(jié)果。集成學(xué)習(xí)在實(shí)際問(wèn)題解決上已得到了廣范的應(yīng)用。集成學(xué)習(xí)最早被用來(lái)提高模型性能，或者減小選擇到一個(gè)差分類(lèi)器的可能性。集成學(xué)習(xí)其他的應(yīng)用還包括賦予決策判決以置信度、選擇優(yōu)化特征、數(shù)據(jù)融合、增量學(xué)習(xí)、不穩(wěn)定學(xué)習(xí)和糾錯(cuò)。盡管集成學(xué)習(xí)還缺乏一個(gè)統(tǒng)一的理論框架，但關(guān)于對(duì)多個(gè)分類(lèi)器的集成仍然產(chǎn)生了很多相關(guān)的理論，并且有許多試

2、驗(yàn)也證明了這種方式的有效性。本文主要研究了以下問(wèn)題：集成學(xué)習(xí)標(biāo)簽設(shè)計(jì)、集成誤差分析、快速選擇性集成，基于集成的噪聲檢測(cè)，聚類(lèi)分割模型空間，基于ACS(Adaptive ClusteringSampling)的集成學(xué)習(xí)和基于選擇性集成的增量追蹤技術(shù)。
　　 (一)證明了在n維空間總可以構(gòu)造出n+1個(gè)對(duì)稱(chēng)矢量，并以此為基礎(chǔ)提出了矢量標(biāo)簽的概念，基于矢量標(biāo)簽實(shí)現(xiàn)了多數(shù)投票法和平均法的統(tǒng)一，這一特點(diǎn)使得用于解決二分類(lèi)問(wèn)題的集成學(xué)習(xí)算法都

3、可以自動(dòng)升級(jí)為多分類(lèi)算法。對(duì)Korgh1995年關(guān)于集成學(xué)習(xí)的誤差分析理論作了進(jìn)一步深入，從實(shí)驗(yàn)和理論上說(shuō)明了集成學(xué)習(xí)的性能除了取決于基分類(lèi)器之間的差異度，同時(shí)不能忽視基分類(lèi)器個(gè)體的性能。實(shí)驗(yàn)證明增大基分類(lèi)器規(guī)模和提高基分類(lèi)器性能可以明顯提高選擇性集成的性能。并相應(yīng)設(shè)計(jì)了排序Bagging(Bootstrap aggregating)算法和隨機(jī)化Bagging算法，這兩種算法只需增加很小的附加運(yùn)算量就可以在某些數(shù)據(jù)集上提升Bagging

4、算法的性能。
　　 (二)打破原有選擇性集成算法只考慮差異度的思路，提出從同質(zhì)化的角度研究選擇性集成。設(shè)計(jì)算法，分別從同質(zhì)化角度以及同質(zhì)化結(jié)合差異化角度進(jìn)行選擇性集成，在個(gè)別數(shù)據(jù)集上其性能接近和超過(guò)GASEN(Genetic Algorithm Selective ENsemble)算法。提出層次化修剪技術(shù)，解決了大規(guī)?；诸?lèi)器的選擇性集成問(wèn)題，以此為基礎(chǔ)進(jìn)一步提出了快速選擇性集成算法。該算法選擇性集成速度較GASEN和CLU_

5、ENN(CLUsteringEnsembles of Neural Network)要快得多。并且該算法具備并行處理能力，在目前并行計(jì)算已非常廉價(jià)的前提下具有較強(qiáng)的應(yīng)用價(jià)值。
　　 (三)提出了基于聚類(lèi)和Boosting的Bagging修剪算法，進(jìn)一步提出了基于聚類(lèi)選擇的AdaBoost(Adaptive Boost)加速算法，這兩種算法在基分類(lèi)器集合規(guī)模較大時(shí)性能都可以接近AdaBoost算法，同時(shí)訓(xùn)練時(shí)間要少一個(gè)數(shù)量級(jí)。基于

6、Boosting檢測(cè)噪聲試驗(yàn)，提出了“偽噪聲”概念，并分析了在噪聲剔除過(guò)程中各類(lèi)誤刪和漏刪情況以及相應(yīng)的后果。進(jìn)而提出基于Cascade的噪聲刪除策略和弱Boosting算法來(lái)增強(qiáng)對(duì)噪聲的檢測(cè)能力。最后結(jié)合K-NN算法、Boosting算法和Cascade技術(shù)提出了全新的噪聲刪除算法，性能優(yōu)異，且速度明顯快于AdaBoost。
　　 (四)基于“分而治之”和“拼貼”思想分析集成學(xué)習(xí)，以此為基礎(chǔ)提出了使用聚類(lèi)分割數(shù)據(jù)模型空間的思想

7、，并說(shuō)明此時(shí)的聚類(lèi)與傳統(tǒng)聚類(lèi)兩者的異同。基于“分而治之”以及對(duì)Bootstrap技術(shù)和AdaBoost技術(shù)的分析，引入ACS采樣技術(shù)，并對(duì)其作適當(dāng)調(diào)整以適應(yīng)機(jī)器學(xué)習(xí)。使得弱分類(lèi)器不再是進(jìn)行盲目學(xué)習(xí)而是能夠進(jìn)行有目的學(xué)習(xí)，也即通過(guò)ACS采樣技術(shù)，結(jié)合矢量標(biāo)簽我們可以控制弱分類(lèi)器的學(xué)習(xí)行為。進(jìn)一步提出了ACS-Randomization算法，該算法僅通過(guò)調(diào)節(jié)參數(shù)就可以實(shí)現(xiàn)Bagging，Randomization，Random-Baggin

8、g等算法。通過(guò)調(diào)節(jié)參數(shù)，可以使得該算法可以在不同類(lèi)型的數(shù)據(jù)集上都獲得較為理想的效果，也即可以針對(duì)不同類(lèi)型數(shù)據(jù)集調(diào)節(jié)相應(yīng)的學(xué)習(xí)強(qiáng)度和噪聲抑制能力。該算法的試驗(yàn)還說(shuō)明了噪聲抑制和學(xué)習(xí)能力之間是一種難以調(diào)和的關(guān)系。
　　 (五)從機(jī)器學(xué)習(xí)的角度分析并提出跟蹤任務(wù)的本質(zhì)是增量學(xué)習(xí)。使用選擇性集成技術(shù)來(lái)實(shí)現(xiàn)對(duì)目標(biāo)跟蹤的增量學(xué)習(xí)，同時(shí)完成噪聲檢測(cè)與剔除。根據(jù)跟蹤任務(wù)的特點(diǎn)，提出了背景預(yù)測(cè)技術(shù)。并在跟蹤任務(wù)中使用了HSV顏色空間模型下Wals