多類別特征共享集成學習研究.pdf

1、多分類問題（至少為三類）是機器學習和計算機視覺領域里需要研究的重大問題之一。隨著計算機技術的發(fā)展，多個類別的模式分類在各種電子產品中有著廣泛的應用，因而多分類問題越來越受到人們的關注。多分類問題需要同時優(yōu)化多個分類邊界，因而更難以解決。尤其類別數較多時，訓練集通常伴隨著大量訓練樣本和高維特征，難以用一個合適的數學模型來建模，如果要高精度的分類器，就需要大量的計算。雖然目前對多分類問題已經有許多建模方法，其中一些算法對大多數據集有較高的識

2、別精度，但是它們都有各自的缺陷，仍需要進一步的完善。
　　多分類問題是一個監(jiān)督學習問題（即訓練集中每個樣本的類標是已知的），關鍵在于如何利用訓練集建立一個分類模型，使其能夠對任意輸入樣本準確的分類。標準的多分類問題在預測時，限定輸入樣本類別所屬的集合是和訓練集一致的;如果沒有這個限定，則多分類器需要對輸入樣本進行進一步識別，如果不屬于訓練集中任何一類，需要對輸出結果做特別說明，比如多目標檢測。本文研究的范圍不包括后者，針對的是標準

3、的多分類問題，包括基于Boosting集成學習的多分類理論，多分類器結構組織，特征共享等方面，具體如下:
　　1)本文提出了一種以Boosting集成學習為核心的后驗概率估計模型，作為多分類器的理論基礎。通過概率模型可以有效的解決以下三個問題:第一，訓練集樣本不均衡會導致各類無條件概率之間的比值發(fā)生變化，從而影響概率輸出和分類精度，而概率模型能夠有效的對分類器進行校準，降低不均衡的影響;第二，如果分類錯誤要承擔風險損失，那么需要對

4、分類結果進行風險評估，概率模型能夠結合概率和損失參數計算每類置信度，從而給出最優(yōu)結果;第三，以概率估計視角詮釋AdaBoost算法，拓展并完善了Boosting模型的理論。
　　2)將多分類問題轉化為二分類問題求解是對多分類器建模的主要方法，然而如何將二分類器集成為多分類器并用于預測，目前沒有理論可依。針對上述問題，本文提出一種以后驗概率為基礎的建模方法來構造多分類器。該方法通過后驗概率來描述分類器，并依靠統(tǒng)計理論尋找這些概率之間

5、的關系，依此將二分類器組織為多分類器。通過該方法對“一對一”模式進行建模，可以得到每類的后驗概率的解析形式，比目前的極限求解方法更近一步。同時，為了保證分類器輸出結果的魯棒性，本文提出了一種新的預測準則。該準則逐輪淘汰置信度低的類別而留下后驗概率數值比較大的類別，從而得到穩(wěn)健的分類結果。
　　3)本文從特征共享角度來提高分類器性能，提出了一種新的弱分類器結構，稱之為復合樹樁。復合樹樁是一種特殊的樹樁結構，能夠利用一個特征對多個類別

6、輸出相對應的置信度，因而多分類的Boosting算法選擇復合樹樁作為弱分類器比決策樹樁的收斂速度快。為了提高分類器的精度，本文將加稀疏約束的加權回歸模型和基于復合樹樁的Boosting算法結合，形成一種新的算法。由于復合樹樁結構的特殊性，該算法雖然是以Boosting迭代為核心，卻具有神經網絡結構，是一種前向的神經網絡算法。
　　4)基于上述理論，本文從層次學習和廣度拓展兩個方向進一步提高分類器性能。廣度拓展主要是通過多個并列的網

7、絡結構集成多分類器或者增加神經元個數來提高識別精度。分層學習主要是通過多層帶權重的線性回歸疊加的方式對特征空間進行線性變換，得到區(qū)分能力更強的新特征。這些新特征都是由原來的特征通過稀疏向量加權得到的，因而最后得到的變換矩陣也是稀疏的。分層訓練時可以分批計算，因而對于訓練集特征維數較高時，可以加快計算效率。另外，層次學習對一些特定的特征可以進行位置約束，從而得到更好的識別結果。目前特征學習得到的底層特征，大多是類似邊條的卷積核特征，和圖像