基于ELM的圖像分類與穩(wěn)健回歸算法研究.pdf

1、極速學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)是近十年前提出的一種快速機(jī)器學(xué)習(xí)算法,它最早應(yīng)用于單隱層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),由于其具有結(jié)構(gòu)簡(jiǎn)單,學(xué)習(xí)速度快,以及良好的泛化性能等優(yōu)點(diǎn)受到眾多研究學(xué)者們的關(guān)注.隨著ELM的發(fā)展,理論和實(shí)證研究表明, ELM適用于廣義單隱層前饋神經(jīng)網(wǎng)絡(luò)(如:支持向量機(jī)、多項(xiàng)式網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、以及傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)),同傳統(tǒng)的單隱層前饋神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)參數(shù)需要不斷調(diào)整的原則不同, E

2、LM學(xué)習(xí)理論表明,前饋神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)參數(shù)可以隨機(jī)生成,并且所有隱層節(jié)點(diǎn)參數(shù)可以獨(dú)立于目標(biāo)函數(shù)和訓(xùn)練數(shù)據(jù)集.正是因?yàn)殡[層節(jié)點(diǎn)參數(shù)可以隨機(jī)選取,輸出層權(quán)值能夠以解析解的形式求出,所以ELM能夠?qū)崿F(xiàn)非?？焖俚膶W(xué)習(xí).特別地, ELM可以直接應(yīng)用于回歸和多分類應(yīng)用中并且有不錯(cuò)的性能表現(xiàn).然而ELM仍然存在著不足之處,例如:在圖像分類中對(duì)噪聲圖像分類效果并不是較好導(dǎo)致其分類精度不高;在回歸應(yīng)用中,訓(xùn)練含有離群值的樣本得到的模型穩(wěn)健性不強(qiáng);隨機(jī)隱

3、層節(jié)點(diǎn)參數(shù)選取導(dǎo)致網(wǎng)絡(luò)不具有稀疏性.本文主要針對(duì)以上三個(gè)問題進(jìn)行研究,具體研究?jī)?nèi)容及創(chuàng)新點(diǎn)如下:
　　(1)設(shè)計(jì)了一種基于ELM和稀疏表示的混合圖像分類器.該分類器融合了稀疏表示圖像分類對(duì)特征選取的不敏感優(yōu)勢(shì)和ELM快速的分類能力.具體結(jié)合點(diǎn)是提出了一種簡(jiǎn)單的ELM錯(cuò)分圖像估計(jì)準(zhǔn)則和自適應(yīng)字典降維方法,這樣ELM錯(cuò)分圖像可以由魯棒性強(qiáng)的稀疏表示分類器進(jìn)行分類,而自適應(yīng)字典降維也使得稀疏表示分類的計(jì)算時(shí)間得到降低.實(shí)驗(yàn)結(jié)果表明此混合

4、分類器不僅分類精確性比ELM高而且分類速度比稀疏表示分類器快.
　　(2)為了降低離群點(diǎn)對(duì)ELM泛化能力的影響,在正則化ELM和加權(quán)正則化ELM的基礎(chǔ)上,提出了兩種基于?1范數(shù)損失函數(shù)的穩(wěn)健回歸算法.在這兩種算法中都采用了快速的增廣的拉格朗日乘子法求解?1最小化.實(shí)驗(yàn)結(jié)果表明這兩種算法對(duì)含有離群點(diǎn)的訓(xùn)練數(shù)據(jù)有較強(qiáng)的魯棒性.
　　(3)針對(duì)ELM隨機(jī)隱層節(jié)點(diǎn)參數(shù)選取導(dǎo)致隱層不具有稀疏性的缺點(diǎn),提出了一種基于?2范數(shù)正則化的稀疏