基于特征選擇的嵌入空間多示例學(xué)習(xí)算法研究.pdf

1、多示例學(xué)習(xí)與傳統(tǒng)的監(jiān)督學(xué)習(xí)類似，每個(gè)訓(xùn)練樣本具有一個(gè)與之關(guān)聯(lián)的類別標(biāo)簽，學(xué)習(xí)系統(tǒng)的任務(wù)是盡可能正確地預(yù)測(cè)未知樣本的類別標(biāo)簽。但二者又存在較大區(qū)別，在監(jiān)督學(xué)習(xí)中，每個(gè)樣本僅包含一個(gè)示例，而在多示例學(xué)習(xí)中，樣本被稱之為包，每個(gè)包包含一個(gè)或多個(gè)示例，包具有類別標(biāo)簽，而其中示例不被賦予任何類別信息。標(biāo)準(zhǔn)多示例假設(shè)認(rèn)為：如果一個(gè)包至少包含一個(gè)正示例，那么該包被標(biāo)記為正；否則，該包被標(biāo)記為反。
　　在標(biāo)準(zhǔn)多示例假設(shè)下，正包中至少存在一個(gè)正示例

2、，然而，許多多示例問題并不滿足這一假設(shè)。比如，在基于區(qū)域的圖像分類問題中，僅當(dāng)多個(gè)局部目標(biāo)對(duì)象同時(shí)出現(xiàn)在一幅圖片中時(shí)，該圖片才被認(rèn)定為屬于某一類別。為解決類似圖像分類等問題，研究者們提出了廣義多示例假設(shè)并設(shè)計(jì)了若個(gè)嵌入空間多示例學(xué)習(xí)算法。這類算法的基本思想是：首先，將訓(xùn)練包映射到由訓(xùn)練集中所有示例形成的嵌入空間中，以構(gòu)造其相應(yīng)的包級(jí)特征；然后，利用新的包級(jí)特征向量訓(xùn)練一個(gè)標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)分類器（比如，支持向量機(jī)）。利用包級(jí)特征映射，嵌入空

3、間算法已將多示例學(xué)習(xí)轉(zhuǎn)化為傳統(tǒng)的監(jiān)督學(xué)習(xí)。
　　嵌入空間算法的典型做法是利用訓(xùn)練集中的所有示例來構(gòu)造嵌入空間，而在一般的多示例問題中，大多數(shù)訓(xùn)練包均由多個(gè)示例所組成，這樣，即使對(duì)于中等規(guī)模的數(shù)據(jù)集，嵌入空間的維度也會(huì)遠(yuǎn)高于訓(xùn)練包的數(shù)量，而二者間的不均衡很容易導(dǎo)致學(xué)習(xí)過程的過擬合，因此特征選擇便成為嵌入空間算法的必然選擇。由于每一維包級(jí)特征均由一個(gè)示例原型所定義，因而在嵌入空間算法中特征選擇本質(zhì)上也是示例選擇。本文以特征選擇為視角圍

4、繞嵌入空間算法所涉及的兩個(gè)關(guān)鍵問題（特征映射和特征選擇）對(duì)這類算法進(jìn)行深入研究，具體內(nèi)容如下：
　　（1）提出一種基于距離特征非線性支持向量機(jī)映射方式的MILES算法。如何選擇包級(jí)特征與支持向量機(jī)組合方式是MILES等嵌入空間算法的一個(gè)基本問題。針對(duì)這一問題，深入剖析現(xiàn)有兩種組合方式的本質(zhì)目的，并在此基礎(chǔ)上改進(jìn)MILES算法。目前存在兩種組合方式，即距離特征與非線性支持向量機(jī)組合和相似性特征與線性支持向量機(jī)組合，前者利用非線性支持

5、向量機(jī)實(shí)現(xiàn)了對(duì)距離特征的非線性映射，而后者基于指數(shù)函數(shù)實(shí)現(xiàn)了相應(yīng)映射。通過對(duì)比分析這兩種映射方式的優(yōu)劣，歸納出距離特征與非線性支持向量機(jī)組合更適合于嵌入空間算法，進(jìn)而利用這一較優(yōu)組合替換MILES算法的原始組合實(shí)現(xiàn)對(duì)其的改進(jìn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法不僅在分類性能與執(zhí)行效率上優(yōu)于原始算法，在算法健壯性上也強(qiáng)于它。
　?。?）給出一種嵌入空間算法的分類方案。針對(duì)目前缺乏對(duì)這類算法的分類研究，以特征選擇為視角對(duì)現(xiàn)有算法進(jìn)行分類，將它們劃

6、分為基于“過濾”型和“嵌入”型特征選擇的算法。此外，由于以往算法基于整個(gè)數(shù)據(jù)集進(jìn)行參數(shù)調(diào)節(jié)，相應(yīng)實(shí)驗(yàn)結(jié)果不能體現(xiàn)算法的真實(shí)性能，因此還利用交叉驗(yàn)證實(shí)驗(yàn)方法重新測(cè)試這些算法，即保證參數(shù)調(diào)節(jié)僅發(fā)生于訓(xùn)練包上，絕不涉及任何測(cè)試包。進(jìn)行這部分實(shí)驗(yàn)的另一好處是能夠幫助分析不同類型特征選擇方法對(duì)嵌入空間算法的影響。
　　（3）提出三種基于貪心獲取特征子集的嵌入空間算法。如何獲取最優(yōu)特征子集是嵌入空間算法的又一基本問題，簡(jiǎn)單的統(tǒng)計(jì)策略忽視了多示

7、例學(xué)習(xí)本身的特點(diǎn)，致使特征子集中仍存在大量冗余特征，最終導(dǎo)致算法的執(zhí)行效率很低。為解決這一問題，結(jié)合多示例學(xué)習(xí)的特點(diǎn)，提出一種貪心的特征子集獲取方法——按某一特征選擇標(biāo)準(zhǔn)在包級(jí)特征中挑選與每個(gè)訓(xùn)練包中得分最高的示例所對(duì)應(yīng)的的特征，以及三種基于貪心方法的嵌入空間算法。實(shí)驗(yàn)結(jié)果表明，基于貪心方法的算法能夠在保持原始算法分類性能的前提下大幅度提高其執(zhí)行效率，即能夠在性能和效率間保持均衡。
　?。?）提出一種示例選擇方法泛化能力增強(qiáng)的MI

8、LD算法。MILD將示例對(duì)訓(xùn)練包的分類能力作為其示例選擇依據(jù)，然而該算法未考察一個(gè)候選示例原型對(duì)未知包的分類能力，即忽視了其示例選擇方法的泛化能力，此外，該算法還未考慮選擇來自于反訓(xùn)練包的反示例原型。為克服MILD的以上缺點(diǎn)，將經(jīng)典的交叉驗(yàn)證技術(shù)應(yīng)用于其示例選擇過程，提出一種其示例選擇方法的泛化能力得到增強(qiáng)的改進(jìn)算法。改進(jìn)算法與原始算法的最大區(qū)別是將候選示例原型對(duì)驗(yàn)證集的分類能力作為示例選擇的依據(jù)并將反示例原型的選取納入其中。實(shí)驗(yàn)結(jié)果表