隨機(jī)權(quán)網(wǎng)絡(luò)的正則化算法研究.pdf

1、隨著社會智能化程度的提高,人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)的應(yīng)用不斷滲透到社會發(fā)展的許多重要領(lǐng)域.相對傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)算法,隨機(jī)權(quán)網(wǎng)絡(luò)(Random Weights Network, RWN)算法不但訓(xùn)練速度快,而且有較好的逼近性能.然而,由于隨機(jī)權(quán)網(wǎng)絡(luò)參數(shù)的隨機(jī)選取使得該算法在理論與應(yīng)用等方面均亟待進(jìn)一步研究,這也引起了國內(nèi)外學(xué)者的廣泛關(guān)注,并形成一個研究熱點(diǎn).
　　本論文采用正

2、則化思想,結(jié)合壓縮感知理論和著名的正交匹配追蹤算法對隨機(jī)權(quán)網(wǎng)絡(luò)正則化算法進(jìn)行研究,主要內(nèi)容包括:
　　首先,基于壓縮感知理論建立新模型,用內(nèi)點(diǎn)法得到稀疏的隨機(jī)權(quán)網(wǎng)絡(luò)結(jié)構(gòu).在充分分析神經(jīng)網(wǎng)絡(luò)外權(quán)固有的物理和現(xiàn)實(shí)意義基礎(chǔ)上,本文建立了l2+l1模型.由于l1問題是一個NP-hard問題,該模型可通過對偶理論得到它的對偶問題,并用內(nèi)點(diǎn)法在可行域內(nèi)迭代搜索最優(yōu)值.這種方法可以得到稀疏的外權(quán),然后刪掉系數(shù)為0的隱層節(jié)點(diǎn)從而達(dá)到簡化網(wǎng)絡(luò)結(jié)構(gòu)的

3、目的.
　　其次,將正交匹配追蹤思想應(yīng)用到隨機(jī)權(quán)網(wǎng)絡(luò).由于正交匹配追蹤算法可以從字典中精確地挑選有效原子,它不但有收斂速度快的特點(diǎn),而且所得的殘差也很小.本文進(jìn)一步把OMP算法應(yīng)用到隨機(jī)權(quán)網(wǎng)絡(luò)中,應(yīng)用所提出的新算法對目標(biāo)函數(shù)進(jìn)行逼近和學(xué)習(xí).實(shí)驗(yàn)表明,這種新算法可以快速訓(xùn)練神經(jīng)網(wǎng)絡(luò),并且神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)比較簡單.
　　最后,將正則化隨機(jī)權(quán)理論用于訓(xùn)練度量空間中的神經(jīng)網(wǎng)絡(luò).本文提出用帶有正則項(xiàng)的隨機(jī)權(quán)網(wǎng)絡(luò)學(xué)習(xí)度量空間中的樣本,它使得