基于極端學(xué)習(xí)機(jī)的分類方法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，各類數(shù)據(jù)不斷累積，如何從數(shù)據(jù)中獲得有用的知識(shí)成為亟待解決的問(wèn)題。BP神經(jīng)網(wǎng)絡(luò)(Back propagation neural networks)作為一種經(jīng)典模式分類方法，成為獲取信息的有效工具，并被廣泛應(yīng)用于各個(gè)領(lǐng)域。然而，BP神經(jīng)網(wǎng)絡(luò)采用迭代求解方式，存在計(jì)算速度慢、易獲得局部最優(yōu)解等問(wèn)題。極端學(xué)習(xí)機(jī)(Extreme learningmachine，ELM)與BP神經(jīng)網(wǎng)絡(luò)同為單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidd

2、en layer feedforwardneural networks，SLFNs)，ELM直接從輸入層實(shí)現(xiàn)復(fù)雜的非線性映射，利用隨機(jī)化參數(shù)的方法將迭代求解過(guò)程轉(zhuǎn)化為線性方程組的求解過(guò)程，進(jìn)而獲得了更快的求解速度。同時(shí)，避免了易陷入局部最優(yōu)解的問(wèn)題，成為解決模式分類問(wèn)題的有效途徑。本文主要以ELM模型為理論基礎(chǔ)，以提升模式分類速度、精度與穩(wěn)定性為目標(biāo)。針對(duì)ELM模型在不同分類應(yīng)用中產(chǎn)生的問(wèn)題進(jìn)行了研究、分析，并取得了下述成果:
　

3、　(1)針對(duì)ELM對(duì)大規(guī)模數(shù)據(jù)難以實(shí)時(shí)分類的問(wèn)題，本文提出并行在線極端學(xué)習(xí)機(jī)(Parallel online sequential extreme learning machine，POSELM)模型。首先，利用ELM理論得到隱層輸出權(quán)值矩陣;然后，根據(jù)MapReduce框架并行計(jì)算特點(diǎn)，對(duì)矩陣分割后在不同工作結(jié)點(diǎn)上并行計(jì)算，以代替原有大規(guī)模矩陣?yán)鄢瞬僮?最后，將計(jì)算結(jié)點(diǎn)上的結(jié)果累加后得到輸出權(quán)值矩陣。該方法保證了在不損失計(jì)算精度前提下

4、，將ELM的增量學(xué)習(xí)算法在MapReduce框架上進(jìn)行拓展，從而實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分類。
　　(2)針對(duì)ELM分類中魯棒性低的問(wèn)題，提出相應(yīng)的解決方案。ELM在建模時(shí)需全局?jǐn)?shù)據(jù)參與運(yùn)算，未考慮噪音樣本對(duì)模型構(gòu)建產(chǎn)生的影響，進(jìn)而出現(xiàn)魯棒性低的問(wèn)題。針對(duì)該問(wèn)題，提出局部極端機(jī)(Local extreme learning machine，LELM)模型。首先，獲得測(cè)試樣本的K近鄰，根據(jù)近鄰標(biāo)簽判斷測(cè)試樣本位置，并識(shí)別噪音訓(xùn)練樣本;然后，提

5、出監(jiān)督聚類方法結(jié)合近鄰法重建局部訓(xùn)練集;最后，針對(duì)新的訓(xùn)練集，構(gòu)建局部分類器。LELM在充分考慮樣本局部結(jié)構(gòu)的同時(shí)，識(shí)別并移除噪音樣本，從而降低噪音樣本對(duì)模型構(gòu)建產(chǎn)生的影響，提升模型魯棒性。進(jìn)一步，為了保證ELM增量分類方法的魯棒性與實(shí)時(shí)分類的穩(wěn)定性，將在線極端學(xué)習(xí)機(jī)模型(Online sequence extreme learningmachine，OSELM)加以拓展，提出自組合核的在線極端學(xué)習(xí)機(jī)(Self-compounding

6、kernelonline sequential extreme learning machine，SCK-OSELM)模型。首先，提出自組合核方法，實(shí)現(xiàn)樣本空間到非線性融合特征空間的轉(zhuǎn)換。然后，借助稀疏貝葉斯原理對(duì)當(dāng)前時(shí)間點(diǎn)參數(shù)稀疏。最后，將當(dāng)前稀疏后得到的參數(shù)并入下一時(shí)刻運(yùn)算。該方法將多個(gè)核空間的特征進(jìn)行非線性融合，避免了隱層參數(shù)選擇產(chǎn)生模型魯棒性低的問(wèn)題。
　　(3)針對(duì)ELM對(duì)非平衡數(shù)據(jù)難以有效分類的問(wèn)題，提出加權(quán)的在線極端

7、學(xué)習(xí)機(jī)(Weights robust online extreme learning machine，WROSELM)模型。為解決數(shù)據(jù)類別分布非平衡性，該模型借助代價(jià)敏感學(xué)習(xí)理論生成局部動(dòng)態(tài)權(quán)值矩陣，從而優(yōu)化分類模型產(chǎn)生的經(jīng)驗(yàn)風(fēng)險(xiǎn)，并通過(guò)對(duì)權(quán)值矩陣的分解，獲得模型輸出權(quán)值矩陣新的增量表達(dá)。同時(shí)，算法進(jìn)一步考慮動(dòng)態(tài)數(shù)據(jù)由于時(shí)序性改變?cè)斐傻臄?shù)據(jù)分布變化，而引入遺忘因子增強(qiáng)分類器對(duì)數(shù)據(jù)分布變更的敏感性。該方法對(duì)非平衡數(shù)據(jù)的分類問(wèn)題具有較高的適

8、應(yīng)性，可實(shí)現(xiàn)對(duì)該類數(shù)據(jù)實(shí)時(shí)、有效的分類。
　　(4)針對(duì)ELM對(duì)多特征數(shù)據(jù)難以有效分類的問(wèn)題，提出多特征極端學(xué)習(xí)機(jī)(Multi-feature extreme learning machine，MFELM)模型。該模型利用ELM對(duì)單特征逐一建模，通過(guò)給出不同特征模型的權(quán)重迭代參數(shù)優(yōu)化MFELM模型，最終獲得使分類誤差總和最小的特征組合系數(shù)與輸出權(quán)值。在組合參數(shù)設(shè)計(jì)上，引入多次冪系數(shù)避免求解過(guò)程中算法退化為單特征的情況。同時(shí)，將MF