多類(lèi)別特征共享集成學(xué)習(xí)研究.pdf

1、多分類(lèi)問(wèn)題（至少為三類(lèi)）是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域里需要研究的重大問(wèn)題之一。隨著計(jì)算機(jī)技術(shù)的發(fā)展，多個(gè)類(lèi)別的模式分類(lèi)在各種電子產(chǎn)品中有著廣泛的應(yīng)用，因而多分類(lèi)問(wèn)題越來(lái)越受到人們的關(guān)注。多分類(lèi)問(wèn)題需要同時(shí)優(yōu)化多個(gè)分類(lèi)邊界，因而更難以解決。尤其類(lèi)別數(shù)較多時(shí)，訓(xùn)練集通常伴隨著大量訓(xùn)練樣本和高維特征，難以用一個(gè)合適的數(shù)學(xué)模型來(lái)建模，如果要高精度的分類(lèi)器，就需要大量的計(jì)算。雖然目前對(duì)多分類(lèi)問(wèn)題已經(jīng)有許多建模方法，其中一些算法對(duì)大多數(shù)據(jù)集有較高的識(shí)

2、別精度，但是它們都有各自的缺陷，仍需要進(jìn)一步的完善。
　　多分類(lèi)問(wèn)題是一個(gè)監(jiān)督學(xué)習(xí)問(wèn)題（即訓(xùn)練集中每個(gè)樣本的類(lèi)標(biāo)是已知的），關(guān)鍵在于如何利用訓(xùn)練集建立一個(gè)分類(lèi)模型，使其能夠?qū)θ我廨斎霕颖緶?zhǔn)確的分類(lèi)。標(biāo)準(zhǔn)的多分類(lèi)問(wèn)題在預(yù)測(cè)時(shí)，限定輸入樣本類(lèi)別所屬的集合是和訓(xùn)練集一致的;如果沒(méi)有這個(gè)限定，則多分類(lèi)器需要對(duì)輸入樣本進(jìn)行進(jìn)一步識(shí)別，如果不屬于訓(xùn)練集中任何一類(lèi)，需要對(duì)輸出結(jié)果做特別說(shuō)明，比如多目標(biāo)檢測(cè)。本文研究的范圍不包括后者，針對(duì)的是標(biāo)準(zhǔn)

3、的多分類(lèi)問(wèn)題，包括基于Boosting集成學(xué)習(xí)的多分類(lèi)理論，多分類(lèi)器結(jié)構(gòu)組織，特征共享等方面，具體如下:
　　1)本文提出了一種以Boosting集成學(xué)習(xí)為核心的后驗(yàn)概率估計(jì)模型，作為多分類(lèi)器的理論基礎(chǔ)。通過(guò)概率模型可以有效的解決以下三個(gè)問(wèn)題:第一，訓(xùn)練集樣本不均衡會(huì)導(dǎo)致各類(lèi)無(wú)條件概率之間的比值發(fā)生變化，從而影響概率輸出和分類(lèi)精度，而概率模型能夠有效的對(duì)分類(lèi)器進(jìn)行校準(zhǔn)，降低不均衡的影響;第二，如果分類(lèi)錯(cuò)誤要承擔(dān)風(fēng)險(xiǎn)損失，那么需要對(duì)

4、分類(lèi)結(jié)果進(jìn)行風(fēng)險(xiǎn)評(píng)估，概率模型能夠結(jié)合概率和損失參數(shù)計(jì)算每類(lèi)置信度，從而給出最優(yōu)結(jié)果;第三，以概率估計(jì)視角詮釋AdaBoost算法，拓展并完善了Boosting模型的理論。
　　2)將多分類(lèi)問(wèn)題轉(zhuǎn)化為二分類(lèi)問(wèn)題求解是對(duì)多分類(lèi)器建模的主要方法，然而如何將二分類(lèi)器集成為多分類(lèi)器并用于預(yù)測(cè)，目前沒(méi)有理論可依。針對(duì)上述問(wèn)題，本文提出一種以后驗(yàn)概率為基礎(chǔ)的建模方法來(lái)構(gòu)造多分類(lèi)器。該方法通過(guò)后驗(yàn)概率來(lái)描述分類(lèi)器，并依靠統(tǒng)計(jì)理論尋找這些概率之間

5、的關(guān)系，依此將二分類(lèi)器組織為多分類(lèi)器。通過(guò)該方法對(duì)“一對(duì)一”模式進(jìn)行建模，可以得到每類(lèi)的后驗(yàn)概率的解析形式，比目前的極限求解方法更近一步。同時(shí)，為了保證分類(lèi)器輸出結(jié)果的魯棒性，本文提出了一種新的預(yù)測(cè)準(zhǔn)則。該準(zhǔn)則逐輪淘汰置信度低的類(lèi)別而留下后驗(yàn)概率數(shù)值比較大的類(lèi)別，從而得到穩(wěn)健的分類(lèi)結(jié)果。
　　3)本文從特征共享角度來(lái)提高分類(lèi)器性能，提出了一種新的弱分類(lèi)器結(jié)構(gòu)，稱(chēng)之為復(fù)合樹(shù)樁。復(fù)合樹(shù)樁是一種特殊的樹(shù)樁結(jié)構(gòu)，能夠利用一個(gè)特征對(duì)多個(gè)類(lèi)別

6、輸出相對(duì)應(yīng)的置信度，因而多分類(lèi)的Boosting算法選擇復(fù)合樹(shù)樁作為弱分類(lèi)器比決策樹(shù)樁的收斂速度快。為了提高分類(lèi)器的精度，本文將加稀疏約束的加權(quán)回歸模型和基于復(fù)合樹(shù)樁的Boosting算法結(jié)合，形成一種新的算法。由于復(fù)合樹(shù)樁結(jié)構(gòu)的特殊性，該算法雖然是以Boosting迭代為核心，卻具有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種前向的神經(jīng)網(wǎng)絡(luò)算法。
　　4)基于上述理論，本文從層次學(xué)習(xí)和廣度拓展兩個(gè)方向進(jìn)一步提高分類(lèi)器性能。廣度拓展主要是通過(guò)多個(gè)并列的網(wǎng)

7、絡(luò)結(jié)構(gòu)集成多分類(lèi)器或者增加神經(jīng)元個(gè)數(shù)來(lái)提高識(shí)別精度。分層學(xué)習(xí)主要是通過(guò)多層帶權(quán)重的線(xiàn)性回歸疊加的方式對(duì)特征空間進(jìn)行線(xiàn)性變換，得到區(qū)分能力更強(qiáng)的新特征。這些新特征都是由原來(lái)的特征通過(guò)稀疏向量加權(quán)得到的，因而最后得到的變換矩陣也是稀疏的。分層訓(xùn)練時(shí)可以分批計(jì)算，因而對(duì)于訓(xùn)練集特征維數(shù)較高時(shí)，可以加快計(jì)算效率。另外，層次學(xué)習(xí)對(duì)一些特定的特征可以進(jìn)行位置約束，從而得到更好的識(shí)別結(jié)果。目前特征學(xué)習(xí)得到的底層特征，大多是類(lèi)似邊條的卷積核特征，和圖像