基于序列數(shù)據(jù)獲取的改進(jìn)極限學(xué)習(xí)機(jī)算法研究.pdf

1、標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)擁有訓(xùn)練時間短，擬合效果好，泛化性能優(yōu)，算法簡單等優(yōu)點。但標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)屬于批量處理模型，在對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時，需要將訓(xùn)練數(shù)據(jù)同時進(jìn)行處理。而在現(xiàn)實生活的應(yīng)用中，訓(xùn)練數(shù)據(jù)一般是批量形式獲得的。在線序列極限學(xué)習(xí)機(jī)可以處理數(shù)據(jù)是序列化獲得的情況，通過不斷的迭代計算，更新輸出權(quán)值。本文對極限學(xué)習(xí)機(jī)和在線序列極限學(xué)習(xí)機(jī)的算法推導(dǎo)和網(wǎng)絡(luò)模型進(jìn)行了研究和分析，提出了一種改進(jìn)的快速序列化極限學(xué)習(xí)機(jī)(FS-ELM)數(shù)據(jù)訓(xùn)練的算法方案。<

2、br>　　本文通過對極限學(xué)習(xí)機(jī)和在線序列極限學(xué)習(xí)機(jī)的算法公式的研究，利用正交法輸出權(quán)值的計算公式，獨立出兩部分可以相互疊加的矩陣區(qū)域。利用相對于訓(xùn)練數(shù)據(jù)獨立的這兩部分矩陣，在序列化獲取訓(xùn)練數(shù)據(jù)后，不斷的疊加計算這兩部分的值。在數(shù)據(jù)獲取完成或需要計算輸出權(quán)值的值時，再利用輸出權(quán)值計算公式，計算獲得輸出權(quán)值的值。實驗結(jié)果表明，在進(jìn)行訓(xùn)練時，F(xiàn)S-ELM的初始化學(xué)習(xí)階段可以接受任意數(shù)量的訓(xùn)練數(shù)據(jù)而不會對訓(xùn)練和測試精度產(chǎn)生影響，并且在保證測試精

3、度與極限學(xué)習(xí)機(jī)以及在線序列極限學(xué)習(xí)機(jī)算法相當(dāng)情況下，F(xiàn)S-ELM的訓(xùn)練速度相比OS-ELM有明顯提高。本文為驗證FS-ELM所具有的速度和精度性能，在不同規(guī)模數(shù)據(jù)集上進(jìn)行了多次較充分的對比實驗。極限學(xué)習(xí)機(jī)算法廣泛獲得應(yīng)用的部分原因在于其需要人工設(shè)定的參數(shù)較少。其中，隱層節(jié)點數(shù)量需要根據(jù)訓(xùn)練數(shù)據(jù)進(jìn)行手動設(shè)置。同時，隱層節(jié)點的數(shù)量影響著網(wǎng)絡(luò)模型的泛化能力。本文提出隱層節(jié)點平均影響因子的概念，在序列化獲取訓(xùn)練數(shù)據(jù)的同時，更新隱層節(jié)點的數(shù)量，逐

4、步使得輸出權(quán)值的總平均影響力達(dá)到最低，使網(wǎng)絡(luò)模型自動達(dá)到較好的泛化效果。實驗表明，利用文中提出的序列化剪枝算法，可以自動獲得較好的隱層節(jié)點數(shù)量，使得網(wǎng)絡(luò)模型有較好的擬合和泛化能力。此外，因為本文提出的序列化極限學(xué)習(xí)機(jī)算法中的部分矩陣相對于訓(xùn)練數(shù)據(jù)是獨立的。因此，很容易可以將本文提出的算法在基于Hadoop的Map-Reduce計算框架中實現(xiàn)。利用分布式的Map-Reduce框架，訓(xùn)練模型可以處理更大的無法在單機(jī)中實現(xiàn)的訓(xùn)練數(shù)據(jù)量。同時，