穩(wěn)定的Boosting類神經(jīng)網(wǎng)絡(luò)集成新算法研究.pdf

1、神經(jīng)網(wǎng)絡(luò)集成研究中個(gè)體網(wǎng)絡(luò)生成方法應(yīng)用較廣的是Boosting類算法和Bagging類算法。Boosting類算法由于其權(quán)值的調(diào)整傾向于“困難”樣本,所以在迭代過程中容易使某些“困難”樣本累積,從而使集成輸出結(jié)果不穩(wěn)定；而Bagging算法所生成的個(gè)體網(wǎng)絡(luò)之間互不相關(guān),因此在不穩(wěn)定訓(xùn)練情況下不會(huì)造成“困難”樣本的累積,但由于Bagging算法不能針對(duì)性地訓(xùn)練的個(gè)體網(wǎng)絡(luò),使得該方法的精度無法控制。
　　 為了提高神經(jīng)網(wǎng)絡(luò)集成算法的

2、穩(wěn)定性,使得集成算法在生成個(gè)體網(wǎng)絡(luò)的過程中不會(huì)使“困難”樣本形成過度積累,同時(shí)能針對(duì)性地訓(xùn)練個(gè)體網(wǎng)絡(luò)以保證泛化精度。本文從Boosting類集成算法出發(fā)結(jié)合Bagging算法提出了BSLB(Boosting Seeded Local Bagging)新算法,將Boosting類集成算法中“困難”樣本積累現(xiàn)象加以改進(jìn),采用基于鄰居計(jì)算局部誤差的方法能區(qū)分對(duì)待“困難”樣本和“容易”樣本,并通過鄰居誤差挑選“困難”樣本作為種子樣本,根據(jù)種子樣

3、本運(yùn)用Lazy算法生成.Bagging二次集成的訓(xùn)練樣本集,使得新生成的訓(xùn)練樣本分布不再過分關(guān)注“困難”樣本,從而保證了集成網(wǎng)絡(luò)的穩(wěn)定性,針對(duì)性地訓(xùn)練個(gè)體網(wǎng)絡(luò)來保證其泛化精度。
　　 實(shí)驗(yàn)結(jié)果表明,BSLB不會(huì)使得“困難”樣本過分積累,從而較之AdaBoosting,Local Boosting集成算法對(duì)個(gè)體網(wǎng)絡(luò)學(xué)習(xí)算法的依賴性更低,且不容易陷入局部最優(yōu)解,特別是在抗噪性上有較為突出的表現(xiàn)；所得到的網(wǎng)絡(luò)結(jié)構(gòu)較之Local Bo