基于粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)及其集成算法研究.pdf

1、學(xué)習(xí)方法的泛化能力、學(xué)習(xí)效率和易用性是機(jī)器學(xué)習(xí)及其應(yīng)用過(guò)程中所面臨三個(gè)關(guān)鍵性問(wèn)題。神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)通過(guò)訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進(jìn)行合成,顯著地提高了系統(tǒng)的泛化能力,成為近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)重要研究方向。
　　 本文在眾多的方法中選取了粒子群算法和BP神經(jīng)網(wǎng)絡(luò)算法以及神經(jīng)網(wǎng)絡(luò)集成算法進(jìn)行研究。粒子群算法具有參數(shù)少,計(jì)算簡(jiǎn)便等優(yōu)點(diǎn),因此它在優(yōu)化BP神經(jīng)網(wǎng)絡(luò)領(lǐng)域擁有巨大的應(yīng)用前景。本文通過(guò)對(duì)現(xiàn)有算法的深入分析和研究,結(jié)合數(shù)據(jù)的特點(diǎn)

2、,提出了相應(yīng)的改進(jìn)算法,并采用冠心病數(shù)據(jù)與UCI數(shù)據(jù)進(jìn)行測(cè)試,取得了較好的效果。本文的主要工作分為以下幾個(gè)方面:
　　 (1)提出了一種確定BP網(wǎng)絡(luò)隱層結(jié)點(diǎn)數(shù)目的有效方法。BP網(wǎng)絡(luò)的隱層結(jié)點(diǎn)數(shù)目一直是研究BP神經(jīng)網(wǎng)絡(luò)的一個(gè)難題,到目前為止仍然沒(méi)有一個(gè)明確的公式能將其計(jì)算出來(lái)。本文通過(guò)特殊的編碼方式,利用具有全局搜索能力的粒子群算法來(lái)對(duì)BP網(wǎng)絡(luò)的隱層結(jié)點(diǎn)數(shù)目及網(wǎng)絡(luò)的權(quán)值和閾值同時(shí)進(jìn)行優(yōu)化。實(shí)驗(yàn)證明,這種網(wǎng)絡(luò)的訓(xùn)練方式,不僅能在權(quán)值

3、和閾值的調(diào)整過(guò)程中確定隱層結(jié)點(diǎn)的數(shù)目,還能進(jìn)一步提高網(wǎng)絡(luò)的學(xué)習(xí)能力。
　　 (2)首次利用帶有優(yōu)化隱層結(jié)點(diǎn)數(shù)目的粒子群神經(jīng)網(wǎng)絡(luò)作神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)集成的一個(gè)重要條件就是構(gòu)成集成的個(gè)體網(wǎng)絡(luò)之間要有足夠的差異性。由于帶有優(yōu)化隱層結(jié)點(diǎn)數(shù)目的粒子群神經(jīng)網(wǎng)絡(luò)可以在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中動(dòng)態(tài)的尋找到隱層結(jié)點(diǎn)數(shù)目與網(wǎng)絡(luò)權(quán)值和閾值的最佳組合,不同初始狀態(tài)下的權(quán)值和閾值將對(duì)應(yīng)不同的隱層結(jié)點(diǎn)個(gè)數(shù),這就使得個(gè)體網(wǎng)絡(luò)之間更具多樣性。對(duì)帶有優(yōu)化隱層結(jié)點(diǎn)