基于支持向量機(jī)的集成學(xué)習(xí)研究.pdf

1、支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的一種新型的機(jī)器學(xué)習(xí)方法,由于具有良好的泛化能力,目前已經(jīng)在許多領(lǐng)域得到了成功的應(yīng)用。然而在應(yīng)用過程中,支持向量機(jī)仍然存在一些不足:首先,為了降低求解優(yōu)化問題的時(shí)間,需要采用逼近算法；其次,往往憑經(jīng)驗(yàn)選擇核函數(shù),采用交叉驗(yàn)證法確定分類器參數(shù),并不能保證參數(shù)的最優(yōu)性,但目前仍然沒有很好的解決辦法；第三,支持向量機(jī)本質(zhì)是兩類分類工具,為解決多類問題需要進(jìn)行擴(kuò)展,但是無論采用組合多個(gè)兩類支持向量機(jī)的方法,還

2、是在同一個(gè)優(yōu)化問題中考慮所有類別,其分類性能并不如解決兩類問題時(shí)顯著,有些方法在實(shí)現(xiàn)上也過于復(fù)雜。這些缺點(diǎn)降低了支持向量機(jī)的穩(wěn)定性和泛化能力。
　　 集成學(xué)習(xí)通過訓(xùn)練和組合多個(gè)準(zhǔn)確而有差異的分類器,為提高分類系統(tǒng)的泛化能力提供了一條新的途徑,成為近十年來機(jī)器學(xué)習(xí)領(lǐng)域最主要的研究方向之一。目前,國內(nèi)外以神經(jīng)網(wǎng)絡(luò)、決策樹等為基分類器的集成學(xué)習(xí)研究已經(jīng)取得了很大的進(jìn)展,但是對(duì)支持向量機(jī)集成的研究起步較晚,還需要大量的工作。本文從這一現(xiàn)

3、狀出發(fā),研究有效的支持向量機(jī)集成學(xué)習(xí)方法,主要研究工作及創(chuàng)新性成果包括:
　　 1)介紹了支持向量機(jī)的原理、算法以及多類擴(kuò)展方法,從基分類器構(gòu)造和基分類器組合兩個(gè)方面詳盡地總結(jié)了集成學(xué)習(xí)的一般方法,綜述了當(dāng)前國內(nèi)外支持向量機(jī)集成學(xué)習(xí)研究的發(fā)展現(xiàn)狀。
　　 2)提出了基于屬性約簡的集成學(xué)習(xí)方法。粗糙集理論中的屬性約簡方法可以作為學(xué)習(xí)算法的一種對(duì)冗余數(shù)據(jù)的預(yù)處理手段,但是由于數(shù)據(jù)噪聲和離散化的影響,在許多情況下會(huì)降低支持向量

4、機(jī)等學(xué)習(xí)算法的分類性能。對(duì)一個(gè)包含冗余屬性的決策表進(jìn)行約簡可以獲得多個(gè)不同的約簡屬性子集,這些子集通常具有較好的分類能力,而且彼此具有一定的差異性,因而可以用來構(gòu)造支持向量機(jī)集成。屬性約簡集成學(xué)習(xí)方法能有效利用訓(xùn)練數(shù)據(jù)中的互補(bǔ)和冗余信息進(jìn)行融合分類,克服數(shù)據(jù)噪聲和離散化對(duì)支持向量機(jī)分類性能的不良影響。
　　 3)提出了基于屬性離散化的基分類器構(gòu)造方法,指出了三種可能的實(shí)現(xiàn)策略:隨機(jī)選擇斷點(diǎn)；采用某一種離散化算法,并選擇不同數(shù)量的

5、斷點(diǎn)；或者采用多種離散化算法獲得不同的斷點(diǎn)集。本文采用第一種策略,首先基于RSBRA離散化算法構(gòu)造支持向量機(jī)集成。進(jìn)一步地,針對(duì)RSBRA離散化結(jié)果可能可能較大程度降低支持向量機(jī)分類性能的缺點(diǎn),引入粗糙集理論的數(shù)據(jù)一致性指標(biāo),對(duì)RSBRA算法進(jìn)行改進(jìn),使得離散化結(jié)果能保留足夠的分類信息。然后,在此基礎(chǔ)上提出基于改進(jìn)RSBRA算法的集成學(xué)習(xí)方法。
　　 4)在當(dāng)前基于搜索技術(shù)的集成學(xué)習(xí)方法中,通常需要一類指標(biāo)對(duì)基分類器的性能進(jìn)行評(píng)

6、估,但是這些指標(biāo)很難在準(zhǔn)確性和差異性之間取得良好的折衷,或者不能直接反映集成的泛化性能。針對(duì)這一問題,提出直接遺傳集成學(xué)習(xí)方法,利用遺傳算法直接在集成所在的空間搜索分類性能優(yōu)良的集成。直接遺傳集成很容易實(shí)現(xiàn)分類器的選擇性集成,研究表明,在組合較少分類器的情況下獲得了比傳統(tǒng)集成學(xué)習(xí)方法Bagging和Adaboost更好的分類效果。
　　 5)研究了多類分類問題中的分類器組合架構(gòu),為克服已有架構(gòu)的不足,提出簡化的架構(gòu),避免分類器組

7、合過程中不必要的信息損失。在此架構(gòu)下研究基于證據(jù)理論的度量層組合方法,利用支持向量機(jī)的后驗(yàn)概率輸出和分類精度,定義基本概率分配函數(shù),然后采用一定的規(guī)則進(jìn)行合成。特別地,當(dāng)采用一對(duì)一的多類擴(kuò)展方法時(shí),可能出現(xiàn)嚴(yán)重的證據(jù)沖突,經(jīng)典的Dempster組合規(guī)則不再適用。因此,基于沖突信息部分可用的思想提出新的證據(jù)組合方法,根據(jù)全體證據(jù)的整體有效性確定沖突信息的有用部分,然后將有用部分根據(jù)基本概率分配的加權(quán)平均在焦元中進(jìn)行分配,有效地解決了證據(jù)沖