快速多核學(xué)習(xí)分類研究及應(yīng)用.pdf

1、核學(xué)習(xí)是一種非常流行的非線性分類問題解決方法，它通過構(gòu)建核矩陣來描述樣本在高維空間的相似程度，達(dá)到種類區(qū)分目的。多核學(xué)習(xí)是核學(xué)習(xí)新的發(fā)展和研究方向。相比于傳統(tǒng)的單核學(xué)習(xí)，多核學(xué)習(xí)整合多個子核到一個統(tǒng)一的優(yōu)化框架內(nèi)，從而尋求多個子核之間的一種最佳組合。多核學(xué)習(xí)可以有效避免核參數(shù)的經(jīng)驗調(diào)節(jié)，減少了人為參與。另外，當(dāng)子核對應(yīng)單個特征或者每一維時，多核學(xué)習(xí)還可以很好地解決特征選擇和維數(shù)約簡問題。但是多核學(xué)習(xí)的高計算復(fù)雜度，使得它在學(xué)習(xí)訓(xùn)練過程中

2、花費了大量的時間。這一特性大大阻礙了多核學(xué)習(xí)在實際工程中的應(yīng)用。本論文針對這個問題，通過預(yù)先篩選有益于分類的子核和構(gòu)造隨機核的方法來加速多核學(xué)習(xí)的訓(xùn)練過程。此外，憑借在多核學(xué)習(xí)研究過程中得到的理論，本論文成功把多核學(xué)習(xí)應(yīng)用到高光譜圖像和自然圖像分類中。
　　本論文的工作可以具體概括如下：
　　1.針對多核學(xué)習(xí)復(fù)雜度高的問題，提出了選擇性的多核學(xué)習(xí)。通過理論分析，發(fā)現(xiàn)多核學(xué)習(xí)可以看作是集成學(xué)習(xí)的一種特殊形式。因此，選擇性多核學(xué)

3、習(xí)使用集成策略預(yù)先選擇一些高辨別大差異的子核。為了評估核的辨別能力和差異性，設(shè)計了一種新的核評估方法。與經(jīng)典的核評估方法核排列相比，該評估方法能提供量化的結(jié)果與更精確的差異性評估。經(jīng)過預(yù)先選擇有益于分類的子核，選擇性多核學(xué)習(xí)節(jié)省了內(nèi)存，加快了訓(xùn)練過程。尤其是該方法可以與多核學(xué)習(xí)L∞范數(shù)約束相結(jié)合，從而大大節(jié)省了計算時間和內(nèi)存。其整個運行代價僅僅相當(dāng)于運行一次單核學(xué)習(xí)。通過大量的實驗驗證，該方法比傳統(tǒng)的多核學(xué)習(xí)方法，速度更快，耗用內(nèi)存更少

4、，同時獲得了相當(dāng)或者更高的分類精度。
　　2.針對多核學(xué)習(xí)中核矩陣構(gòu)造耗時太長的問題，提出了基于隨機核的多核學(xué)習(xí)方法。由極限學(xué)習(xí)機得到啟發(fā)，當(dāng)單影層神經(jīng)網(wǎng)絡(luò)中的隱層節(jié)點數(shù)目足夠多，在隱藏節(jié)點權(quán)重隨機賦值的情況下，給定一個在任意區(qū)間無限可導(dǎo)的激活函數(shù)，Single-hidden Layer Feedforward Neural Network（SLFN）可以無限逼近擬合輸入樣本集。由于激活函數(shù)中的權(quán)重可以隨機賦值，ELM是一種無參數(shù)

5、的學(xué)習(xí)機。論文使用Extreme learning machine(ELM)中的激活函數(shù)為多核學(xué)習(xí)構(gòu)造隨機核，減少了待優(yōu)化的子核規(guī)模。尤其是該方法跟上文的選擇性多核學(xué)習(xí)方法相結(jié)合，從而大大加速了多核學(xué)習(xí)的核構(gòu)造和訓(xùn)練時間。并且，通過Rademacher復(fù)雜度分析，多核學(xué)習(xí)的一般性誤差上界隨著子核規(guī)模的減少而降低。因此，本文的方法理論上可以獲得更好的分類結(jié)果。通過在多個數(shù)據(jù)庫上驗證，基于隨機核的方法使得多核學(xué)習(xí)速度更快，占用內(nèi)存更少，而且

6、擁有相當(dāng)或者更高的分類精度。
　　3.多核學(xué)習(xí)應(yīng)用于高光譜圖像分類識別。針對高光譜圖像維數(shù)過高的問題，提出了一種兩階段多核學(xué)習(xí)方法來進(jìn)行維數(shù)約簡。由于多核學(xué)習(xí)一般性誤差的上確界隨著子核數(shù)目的增加而升高，高光譜圖像中過高的維數(shù)生成了大量的子核。因此，直接使用多核學(xué)習(xí)對高光譜圖像進(jìn)行維數(shù)約簡是不合理的。論文設(shè)計了一種兩階段的多核學(xué)習(xí)方法，通過預(yù)先構(gòu)造有益于分類的子核，來降低待優(yōu)化的子核數(shù)目，從而獲得比直接使用多核學(xué)習(xí)更好的分類結(jié)果。在

7、多個高光譜圖像上實驗驗證，對比于經(jīng)典的特征選擇方法，兩階段的多核學(xué)習(xí)獲得了更佳的分類性能。
　　4.多核學(xué)習(xí)應(yīng)用于高光譜圖像不平衡分類識別。當(dāng)分類任務(wù)中存在某些種類樣本數(shù)量過少的時候，傳統(tǒng)的分類方法會因為傾向于把樣本劃分為樣本數(shù)目較多的種類，而不能勝任。為了平衡各個種類的關(guān)系，集成學(xué)習(xí)是一種常用的方法。但是現(xiàn)有的集成方法沒有考慮所選的分類器，因此其所提供的集成策略針對某一具體的分類器而言往往不是最優(yōu)的。因為高光譜圖像的高維小樣本特

8、性，使得支撐矢量機（Support Vector Machine SVM）成為高光譜分類中一個常用的分類器。因為SVM使用maximum margin作為分類準(zhǔn)則，所以論文充分考慮了高光譜圖像分類器的特性，借鑒了多核學(xué)習(xí)的方法，提出了一種基于maximum margin的集成策略。經(jīng)過多個高光譜圖像的實驗驗證，該方法在高光譜圖像分類上，要優(yōu)于傳統(tǒng)的不平衡分類方法。
　　5.多核學(xué)習(xí)應(yīng)用于自然圖像分類識別。針對自然圖像分類中的金字塔