極限學(xué)習(xí)機(jī)的研究與應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)是當(dāng)今大數(shù)據(jù)時(shí)代的核心研究方向,機(jī)器學(xué)習(xí)的研究成果被廣泛應(yīng)用到模式識(shí)別、計(jì)算機(jī)視覺(jué)、數(shù)據(jù)挖掘、控制論等領(lǐng)域當(dāng)中,并滲透到人們?nèi)粘Ｉ畹姆椒矫婷娈?dāng)中。而在機(jī)器學(xué)習(xí)的研究當(dāng)中,分類器的研究占據(jù)著舉足輕重的地位,絕大部分的實(shí)際問(wèn)題都可以轉(zhuǎn)換成一個(gè)分類問(wèn)題,分類器的性能往往是一個(gè)應(yīng)用成果與否的關(guān)鍵。挖掘分類器,如支持向量機(jī)(SVM)、adaboost、極限學(xué)習(xí)機(jī)(ELM)等,的潛力已經(jīng)成為了當(dāng)今機(jī)器學(xué)習(xí)的主流研究方向。
　　本文的

2、主要研究?jī)?nèi)容是極限學(xué)習(xí)機(jī)的潛力挖掘。極限學(xué)習(xí)機(jī)是從單隱藏層的神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái),并具有易于實(shí)現(xiàn),速度快,泛化能力強(qiáng)等特點(diǎn),而成為廣大學(xué)者的研究對(duì)象。本文通過(guò)對(duì)極限學(xué)習(xí)機(jī)的研究,針對(duì)極限學(xué)習(xí)機(jī)理論和應(yīng)用上的缺陷,提出了三個(gè)極限學(xué)習(xí)機(jī)的變種,改善了極限學(xué)習(xí)機(jī)的性能,拓寬了極限學(xué)習(xí)機(jī)的應(yīng)用。
　　本論文主要完成了下列工作:
　　(1)在多輸入對(duì)多輸出的回歸問(wèn)題中,極限學(xué)習(xí)機(jī)只考慮輸入空間各個(gè)維度之間的結(jié)構(gòu)化信息而忽略輸出空間的結(jié)構(gòu)化

3、信息。針對(duì)這一弱點(diǎn),本文提出了輸出空間嵌入式極限學(xué)習(xí)機(jī),將輸出空間中各個(gè)維度之間的結(jié)構(gòu)化信息“嵌入”極限學(xué)習(xí)機(jī)的神經(jīng)網(wǎng)絡(luò)中,從而提高極限學(xué)習(xí)機(jī)在多輸入對(duì)多輸出的回歸問(wèn)題的準(zhǔn)確率。
　　(2)針對(duì)極限學(xué)習(xí)機(jī)缺乏有效的訓(xùn)練方法這一弱點(diǎn),本文提出了分布最優(yōu)化的極限學(xué)習(xí)機(jī)。該算法將輸入權(quán)重和隱藏層偏置進(jìn)行含有待定參數(shù)的編碼,利用現(xiàn)有的基于梯度的優(yōu)化算法優(yōu)化待定參數(shù),從而得到輸入權(quán)重和隱藏層偏置的最優(yōu)分布,并提高極限學(xué)習(xí)機(jī)的準(zhǔn)確率。

4、　　(3)目前極限學(xué)習(xí)機(jī)缺乏分布式的實(shí)施方法,對(duì)于大數(shù)據(jù)問(wèn)題力不從心。特別對(duì)大數(shù)據(jù)分布在網(wǎng)絡(luò)中不同節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)擁有自已的私密數(shù)據(jù)這類應(yīng)用更加束手無(wú)策。本文針對(duì)這一弱點(diǎn),將交替方向乘子法(ADMM)應(yīng)用到極限學(xué)習(xí)機(jī)的實(shí)現(xiàn)當(dāng)中,提出了協(xié)同分布式極限學(xué)習(xí)機(jī),拓寬了極限學(xué)習(xí)機(jī)在大數(shù)據(jù)時(shí)代的應(yīng)用。
　　上述研究成果,具有一定的前瞻性和挑戰(zhàn)性。本文在理論分析上取得一些突破,在技術(shù)實(shí)現(xiàn)上具有一些創(chuàng)新,為挖掘極限學(xué)習(xí)的潛力和拓寬極限學(xué)習(xí)機(jī)中的應(yīng)