多類別特征共享集成學(xué)習(xí)研究.pdf

1、多分類問題（至少為三類）是機(jī)器學(xué)習(xí)和計算機(jī)視覺領(lǐng)域里需要研究的重大問題之一。隨著計算機(jī)技術(shù)的發(fā)展，多個類別的模式分類在各種電子產(chǎn)品中有著廣泛的應(yīng)用，因而多分類問題越來越受到人們的關(guān)注。多分類問題需要同時優(yōu)化多個分類邊界，因而更難以解決。尤其類別數(shù)較多時，訓(xùn)練集通常伴隨著大量訓(xùn)練樣本和高維特征，難以用一個合適的數(shù)學(xué)模型來建模，如果要高精度的分類器，就需要大量的計算。雖然目前對多分類問題已經(jīng)有許多建模方法，其中一些算法對大多數(shù)據(jù)集有較高的識

2、別精度，但是它們都有各自的缺陷，仍需要進(jìn)一步的完善。
　　多分類問題是一個監(jiān)督學(xué)習(xí)問題（即訓(xùn)練集中每個樣本的類標(biāo)是已知的），關(guān)鍵在于如何利用訓(xùn)練集建立一個分類模型，使其能夠?qū)θ我廨斎霕颖緶?zhǔn)確的分類。標(biāo)準(zhǔn)的多分類問題在預(yù)測時，限定輸入樣本類別所屬的集合是和訓(xùn)練集一致的;如果沒有這個限定，則多分類器需要對輸入樣本進(jìn)行進(jìn)一步識別，如果不屬于訓(xùn)練集中任何一類，需要對輸出結(jié)果做特別說明，比如多目標(biāo)檢測。本文研究的范圍不包括后者，針對的是標(biāo)準(zhǔn)

3、的多分類問題，包括基于Boosting集成學(xué)習(xí)的多分類理論，多分類器結(jié)構(gòu)組織，特征共享等方面，具體如下:
　　1)本文提出了一種以Boosting集成學(xué)習(xí)為核心的后驗(yàn)概率估計模型，作為多分類器的理論基礎(chǔ)。通過概率模型可以有效的解決以下三個問題:第一，訓(xùn)練集樣本不均衡會導(dǎo)致各類無條件概率之間的比值發(fā)生變化，從而影響概率輸出和分類精度，而概率模型能夠有效的對分類器進(jìn)行校準(zhǔn)，降低不均衡的影響;第二，如果分類錯誤要承擔(dān)風(fēng)險損失，那么需要對

4、分類結(jié)果進(jìn)行風(fēng)險評估，概率模型能夠結(jié)合概率和損失參數(shù)計算每類置信度，從而給出最優(yōu)結(jié)果;第三，以概率估計視角詮釋AdaBoost算法，拓展并完善了Boosting模型的理論。
　　2)將多分類問題轉(zhuǎn)化為二分類問題求解是對多分類器建模的主要方法，然而如何將二分類器集成為多分類器并用于預(yù)測，目前沒有理論可依。針對上述問題，本文提出一種以后驗(yàn)概率為基礎(chǔ)的建模方法來構(gòu)造多分類器。該方法通過后驗(yàn)概率來描述分類器，并依靠統(tǒng)計理論尋找這些概率之間

5、的關(guān)系，依此將二分類器組織為多分類器。通過該方法對“一對一”模式進(jìn)行建模，可以得到每類的后驗(yàn)概率的解析形式，比目前的極限求解方法更近一步。同時，為了保證分類器輸出結(jié)果的魯棒性，本文提出了一種新的預(yù)測準(zhǔn)則。該準(zhǔn)則逐輪淘汰置信度低的類別而留下后驗(yàn)概率數(shù)值比較大的類別，從而得到穩(wěn)健的分類結(jié)果。
　　3)本文從特征共享角度來提高分類器性能，提出了一種新的弱分類器結(jié)構(gòu)，稱之為復(fù)合樹樁。復(fù)合樹樁是一種特殊的樹樁結(jié)構(gòu)，能夠利用一個特征對多個類別

6、輸出相對應(yīng)的置信度，因而多分類的Boosting算法選擇復(fù)合樹樁作為弱分類器比決策樹樁的收斂速度快。為了提高分類器的精度，本文將加稀疏約束的加權(quán)回歸模型和基于復(fù)合樹樁的Boosting算法結(jié)合，形成一種新的算法。由于復(fù)合樹樁結(jié)構(gòu)的特殊性，該算法雖然是以Boosting迭代為核心，卻具有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種前向的神經(jīng)網(wǎng)絡(luò)算法。
　　4)基于上述理論，本文從層次學(xué)習(xí)和廣度拓展兩個方向進(jìn)一步提高分類器性能。廣度拓展主要是通過多個并列的網(wǎng)

7、絡(luò)結(jié)構(gòu)集成多分類器或者增加神經(jīng)元個數(shù)來提高識別精度。分層學(xué)習(xí)主要是通過多層帶權(quán)重的線性回歸疊加的方式對特征空間進(jìn)行線性變換，得到區(qū)分能力更強(qiáng)的新特征。這些新特征都是由原來的特征通過稀疏向量加權(quán)得到的，因而最后得到的變換矩陣也是稀疏的。分層訓(xùn)練時可以分批計算，因而對于訓(xùn)練集特征維數(shù)較高時，可以加快計算效率。另外，層次學(xué)習(xí)對一些特定的特征可以進(jìn)行位置約束，從而得到更好的識別結(jié)果。目前特征學(xué)習(xí)得到的底層特征，大多是類似邊條的卷積核特征，和圖像