多分類器選擇關(guān)鍵技術(shù)的研究.pdf

1、近年來，多分類器融合技術(shù)已成為模式識別和機(jī)器學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)之一。多分類器融合比單個(gè)分類器更有效的理由是融合中的分類器不僅是精確的而且是錯(cuò)誤差異的，在保證分類能力的前提下，融合中個(gè)體分類器數(shù)目越少，系統(tǒng)的復(fù)雜性越低。早期構(gòu)造的個(gè)體分類器是直接生成的，但實(shí)際中不能保證錯(cuò)誤是差異的，所以生成的個(gè)體分類器可能是冗余的。 為此，人們又提出了“過產(chǎn)生，再選擇”的策略。過產(chǎn)生階段采用直接策略生成融合中的個(gè)體分類器；再選擇階段是對過產(chǎn)生階段

2、的優(yōu)化，通過優(yōu)化產(chǎn)生分類效果好的分類器系統(tǒng)。研究者希望能夠利用核聚類以及差異性度量對分類器融合性能的預(yù)測來指導(dǎo)多分類器的選擇過程。 本文針對分類器融合的兩個(gè)目標(biāo)：融合后的分類器是精確的：融合中的個(gè)體分類器是錯(cuò)誤差異的。對個(gè)體分類器選擇算法進(jìn)行了研究。本文的主要工作包括： (1)提出了一種基于差異性度量的選擇性分類器集成方法(Diversity measurebased selected ensemble DMSE)，將周

3、志華的選擇性集成方法SEME(Selectiveensemble of multiple eigenspaees)引入到多分類器選擇中，而且利用了差異性度量的方法，對融合中的分類器進(jìn)行了選擇。實(shí)驗(yàn)結(jié)果表明，該算法在減少用于融合的分類器數(shù)目的同時(shí)，保證了準(zhǔn)確率比bagging高。 (2)提出了一種基于核聚類的多分類器選擇算法(Kernel cluster based selectedensemble KCSE)，將無監(jiān)督分類方法核

4、聚類引入到多分類器選擇系統(tǒng)中，利用核聚類的準(zhǔn)確聚類將特征空間劃分為小的區(qū)域，從而實(shí)現(xiàn)對每個(gè)分類器性能的度量。理論分析和實(shí)驗(yàn)結(jié)果表明，該算法可以獲得不錯(cuò)的分類效果。 (3)從個(gè)體分類器準(zhǔn)確率和差異性兩方面考慮，提出了一種基于核聚類和差異性度量的多分類器選擇算法(Kernel cluster and diversity measure based selectedensemble KCDMSE)。將核聚類和差異性度量分別引入到分類器