基于抽樣的集成進(jìn)化算法研究.pdf

1、集成學(xué)習(xí)是一種新的機(jī)器學(xué)習(xí)方式，它使用多個(gè)弱學(xué)習(xí)器來(lái)對(duì)同一個(gè)問(wèn)題求解，能夠顯著地提高系統(tǒng)的泛化能力。因此，從20世紀(jì)90年代開(kāi)始，對(duì)集成學(xué)習(xí)的研究及發(fā)展成為了一種趨勢(shì)。經(jīng)過(guò)眾多學(xué)者的深入研究，集成學(xué)習(xí)已經(jīng)成功應(yīng)用于圖像處理、Web信息挖掘、生物特征識(shí)別等多個(gè)領(lǐng)域。
　　集成學(xué)習(xí)兩大算法族:Boosting和Bagging目前存在的主要不足有:訓(xùn)練樣本不夠、集成規(guī)模大。本文主要進(jìn)行了如下工作:
　　1、提出一種限制輸出模型規(guī)模

2、的集成進(jìn)化分類算法(Ensemble EvolveClassification Algorithm for Controlling the Size of Final Model,ECSM)。Boosting算法族中比較知名的AdaBoost算法采用迭代機(jī)制，每一輪都產(chǎn)生一個(gè)精度較低的弱學(xué)習(xí)器，并更新訓(xùn)練樣本的權(quán)重，使正確分類的樣本權(quán)重減小，錯(cuò)分類樣本的權(quán)重變大，最后采用加權(quán)投票集成輸出模型。該算法經(jīng)過(guò)多次迭代后會(huì)產(chǎn)生大量的弱學(xué)習(xí)器，模

3、型規(guī)模過(guò)于龐大且不利于表達(dá)，因而不具備良好的可解釋性。針對(duì)上述問(wèn)題本文將遺傳算法引入到AdaBoost算法當(dāng)中，提出了ECSM算法。ECSM算法在訓(xùn)練過(guò)程中不再對(duì)樣本進(jìn)行累計(jì)賦值，而是從弱學(xué)習(xí)器入手，通過(guò)基因操作和評(píng)價(jià)函數(shù)找出每一輪最優(yōu)的弱學(xué)習(xí)器，從而解決了最終模型規(guī)模過(guò)于龐大的問(wèn)題。通過(guò)實(shí)驗(yàn)將該算法與傳統(tǒng)的AdaBoost算法進(jìn)行比較，驗(yàn)證了ECSM算法在保持分類精度的前提下，模型規(guī)模比AdaBoost的要小。
　　2、提出基于

4、一致性樣本抽樣的集成進(jìn)化分類算法(Ensemble EvolveClassification Algorithm base on Consistency Sampling,EECS)。ECSM算法可以在保持精度的前提下縮減模型規(guī)模，但對(duì)大樣本數(shù)據(jù)的處理能力較弱，且在每一輪都需要進(jìn)行全局搜索，導(dǎo)致模型建立時(shí)間較長(zhǎng)。針對(duì)上述問(wèn)題，本文設(shè)計(jì)了一個(gè)基于分類結(jié)果一致性計(jì)算公式，通過(guò)該公式計(jì)算出本輪的分類結(jié)果與之前分類結(jié)果的一致性值，然后用該值去更