多分類器集成算法研究.pdf

1、多分類器集成，也稱多分器組合或多分類器聯(lián)合，近年來，多分類器融合技術(shù)在人臉識(shí)別、手寫字符識(shí)別、遙感圖像分類等方向上受到了廣泛重視，顯示出很大的研究?jī)r(jià)值和現(xiàn)實(shí)應(yīng)用前景。 多分類器集成的研究是從數(shù)字識(shí)別中產(chǎn)生和發(fā)展起來的，其目的是通過對(duì)多個(gè)互補(bǔ)的分類器識(shí)別結(jié)果的集成來得到一個(gè)高可靠性的識(shí)別系統(tǒng)。即旨在充分發(fā)揮每個(gè)成員分類器在各自分類性能上的優(yōu)勢(shì)，獲得比單個(gè)成員分類器都要好的分類識(shí)別率。多分類器集成利用不同分類器之間的互補(bǔ)性，提高集成

2、后分類器的性能。 一般通過提高成員分類器的分類性能和增加成員分類器的多樣性來達(dá)到提高多分類器集成性能的目的。傳統(tǒng)的多分類器集成方法在體現(xiàn)分類器的多樣性方面存在著很多不足，如：由于組合中的各分類器具有單一性，沒有充分考慮具體數(shù)據(jù)集的特點(diǎn)，因而不能很好對(duì)樣本進(jìn)行識(shí)別，等等。為了實(shí)現(xiàn)組合分類器的最優(yōu)性能，需要根據(jù)具體的識(shí)別對(duì)象選擇適合的分類器進(jìn)行集成，同時(shí)也需要考慮針對(duì)不同類別的樣本采用不同的集成方式。 本文緊緊圍繞多分類器集

3、成這一課題，旨在分析研究如何實(shí)現(xiàn)成員分類器的多樣性來提高集成分類器的性能。充分考慮訓(xùn)練樣本集的分布特征，在保證單個(gè)分類器高性能的情況下，實(shí)現(xiàn)成員分類器多樣性的目的。本文的創(chuàng)新性研究成果主要有： 1、提出了有關(guān)集成學(xué)習(xí)的兩種多分類器動(dòng)態(tài)組合方法(DEA和EMDA)。DEA算法首先根據(jù)類別標(biāo)號(hào)將訓(xùn)練數(shù)據(jù)劃分成一個(gè)個(gè)小集合，并在訓(xùn)練數(shù)據(jù)類別數(shù)的指導(dǎo)下對(duì)測(cè)試數(shù)據(jù)聚類，依據(jù)歐氏距離找出聚類集與訓(xùn)練數(shù)據(jù)的小集合之間的對(duì)應(yīng)關(guān)系。在Adaboo

4、st基礎(chǔ)上采用不同的分類算法，在整個(gè)訓(xùn)練數(shù)據(jù)上訓(xùn)練出不同類型的成員分類器，然后通過在訓(xùn)練數(shù)據(jù)中每個(gè)小集合上學(xué)習(xí)，獲得最優(yōu)的分類器，用它們?nèi)シ诸悳y(cè)試數(shù)據(jù)聚類后對(duì)應(yīng)的聚類集，從而獲得DEA的分類性能。EMDA方法是在DEA算法啟發(fā)下，尋找另一種選擇成員分類器的方法，在DEA中最優(yōu)分類器的選擇是通過誤差率來選擇的，而EMDA使用信息熵的方法來實(shí)現(xiàn)最優(yōu)分類器的選擇。以上兩種算法實(shí)現(xiàn)了成員分類器的多樣性，并且提高了分類性能。同時(shí)，我們以Weka軟

5、件作為平臺(tái)實(shí)現(xiàn)了DEA和EMDA算法，并在15個(gè)標(biāo)準(zhǔn)UCI數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明我們所提出的兩種算法與AdaBoost算法相比，均具有較高的分類準(zhǔn)確性和較好的泛化能力。 2、提出一種基于特征選擇的多分類器集成方法(FSCE)。該方法對(duì)訓(xùn)練數(shù)據(jù)集的屬性進(jìn)行特定選擇后，將獲得的新數(shù)據(jù)集映射成屬性數(shù)目(除類別屬性外)個(gè)小實(shí)例集，然后從每個(gè)小實(shí)例集訓(xùn)練出的分類器中選擇性能較好的，用來對(duì)屬性選擇后對(duì)應(yīng)的每個(gè)小測(cè)試實(shí)例集進(jìn)行性能測(cè)試，并