基于極限學(xué)習(xí)機(jī)的多示例算法研究.pdf

1、在許多領(lǐng)域，人們發(fā)現(xiàn)很多問題本質(zhì)上都有多示例設(shè)定的背景，例如新藥發(fā)現(xiàn)，文本分類（信息檢索），圖像分類（機(jī)器視覺），語音識(shí)別（信號(hào)處理）等等。多示例問題的成為機(jī)器學(xué)習(xí)領(lǐng)域研究的一個(gè)重要問題，在過去的幾年，有很多方法被研究出來解決多示例問題。但是多示例問題面臨的樣本多，大多數(shù)學(xué)習(xí)算法訓(xùn)練速度慢，限制了他們?cè)趯?shí)際中的應(yīng)用。
　　本文分別從基于包空間的角度和從基于示例的角度提出了了改進(jìn)極限學(xué)習(xí)機(jī)的兩種方法。主要的研究內(nèi)容如下：
　　

2、1.從基于示例空間的角度，不僅可以預(yù)測包層次的標(biāo)簽，也可以對(duì)包中示例的分布和示例標(biāo)簽進(jìn)行預(yù)測。本文從基于示例空間的角度提出了改進(jìn)極限學(xué)習(xí)機(jī)的一種方法MIL-ELM。這種方法考慮到對(duì)于一個(gè)神經(jīng)網(wǎng)絡(luò)來說，包中的示例每有標(biāo)簽，無法進(jìn)行有監(jiān)督的學(xué)習(xí)，但是可以把一個(gè)負(fù)包中的所有示例當(dāng)成一個(gè)多示例空間上的點(diǎn)，讓隨機(jī)產(chǎn)生的神經(jīng)網(wǎng)絡(luò)對(duì)所有的示例進(jìn)行一個(gè)評(píng)價(jià)，通過最大化先驗(yàn)概率，這樣就可以挑選出一個(gè)包中最有資質(zhì)的示例來代表這個(gè)包。基于多示例的基本假設(shè)，一

3、個(gè)正包中所有的示例都是正示例。負(fù)包中至少有一個(gè)示例是負(fù)示例。第一階段，利用單隱層神經(jīng)網(wǎng)絡(luò)在負(fù)包中挑選最負(fù)（負(fù)示例概率最大），在正包中挑選正包（正示例概率最大）。在第二階段，把示例當(dāng)成包的代表作為訓(xùn)練集，利用極限學(xué)習(xí)機(jī)算法原理重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)證明MIL-ELM訓(xùn)練速度快，分類精度較高。
　　2.針對(duì)MIL-ELM算法的不穩(wěn)定性，提出用bagging技術(shù)優(yōu)化MIL-ELM。Bagging優(yōu)化后的MIL-ELM克服了極限學(xué)習(xí)機(jī)算法

4、先天的隨機(jī)不穩(wěn)定性，提高了MIL-ELM的預(yù)測精度。
　　3.提出一個(gè)基于包空間的方法MI-ELM。此方法應(yīng)用一個(gè)Hausdorff距離度量包之間的距離從而改進(jìn)了高斯核的極限學(xué)習(xí)機(jī)。隱層節(jié)點(diǎn)是由包空間組成的，這個(gè)包空間是隨機(jī)產(chǎn)生的。由于我們不需要調(diào)節(jié)輸入層到隱層節(jié)點(diǎn)的參數(shù)，MI-ELM學(xué)習(xí)的速率非?？臁Ｓ掷昧撕思记?，有較好的分類回歸精度。
　　4.提出多示例算法是為了更好的解決多示例問題，本文提出的算法在藥物活性預(yù)測成功實(shí)