人工神經(jīng)樹(shù)網(wǎng)絡(luò)模型的優(yōu)化研究與應(yīng)用.pdf

1、人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)進(jìn)行信息處理的一種數(shù)學(xué)模型，是由大量神經(jīng)元廣泛互連而成的網(wǎng)絡(luò)，其目在于通過(guò)模擬大腦的某些功能機(jī)制，實(shí)現(xiàn)一些特定的功能。人工神經(jīng)網(wǎng)絡(luò)以其具有大規(guī)模并行處理、容錯(cuò)性、自組織和自適應(yīng)能力等特點(diǎn)，己成為解決復(fù)雜問(wèn)題的有效工具。目前，已存在的神經(jīng)網(wǎng)絡(luò)模型有很多，其中多層前饋神經(jīng)網(wǎng)絡(luò)是研究和應(yīng)用較多的模型之一。它是由簡(jiǎn)單神經(jīng)單元構(gòu)成的具有明顯層次結(jié)構(gòu)的網(wǎng)絡(luò)模型，且有良好的非線性品質(zhì)，靈活有效的學(xué)習(xí)方式，較強(qiáng)的非線性系統(tǒng)

2、模擬能力，因此被廣泛的應(yīng)用于系統(tǒng)辨識(shí)、數(shù)據(jù)挖掘、信號(hào)處理、故障診斷等領(lǐng)域。盡管Hornik等證明了僅需一個(gè)具有單隱含層的前饋神經(jīng)網(wǎng)絡(luò)就可以逼近任意復(fù)雜度的函數(shù)，但是如何找到合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和相應(yīng)參數(shù)取值卻是一個(gè)NP-hard問(wèn)題。因此，多層前饋神經(jīng)網(wǎng)絡(luò)仍然存在一些難題:首先，在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)方面，網(wǎng)絡(luò)隱層數(shù)及各隱層隱節(jié)點(diǎn)數(shù)的選擇，通常根據(jù)實(shí)際問(wèn)題采用“經(jīng)驗(yàn)法”或“適湊法”來(lái)確定，具有較強(qiáng)的不確定性，然而神經(jīng)網(wǎng)絡(luò)的泛化能力很大程度上取

3、決于神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的設(shè)計(jì)，因此傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法容易導(dǎo)致神經(jīng)網(wǎng)絡(luò)的泛化能力差；在網(wǎng)絡(luò)參數(shù)優(yōu)化方面，傳統(tǒng)的基于梯度下降的誤差反傳算法雖然有良好的數(shù)學(xué)理論支撐，但是仍然存在收斂速度慢、易陷入局部最優(yōu)、對(duì)參數(shù)初始值敏感等缺點(diǎn)，極大的限制了多層前饋神經(jīng)網(wǎng)絡(luò)的應(yīng)用。
　　針對(duì)多層前饋人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、存在的問(wèn)題以及相關(guān)技術(shù)的研究趨勢(shì)，本論文研究了一種新的基于樹(shù)編碼的人工神經(jīng)網(wǎng)絡(luò)模型:神經(jīng)樹(shù)網(wǎng)絡(luò)模型及其優(yōu)化問(wèn)題，并對(duì)其在數(shù)據(jù)挖掘領(lǐng)域中的

4、典型應(yīng)用做了深入的探討。
　　本文主要研究?jī)?nèi)容概述如下:
　　1、針對(duì)神經(jīng)樹(shù)網(wǎng)絡(luò)模型在實(shí)際應(yīng)用中遇到的問(wèn)題及特點(diǎn)，從以下兩個(gè)方面對(duì)神經(jīng)樹(shù)網(wǎng)絡(luò)模型的描述進(jìn)行研究和改進(jìn):
　　(1)對(duì)神經(jīng)樹(shù)網(wǎng)絡(luò)模型定義的改進(jìn):解決了模型中函數(shù)節(jié)點(diǎn)的孩子節(jié)點(diǎn)中終端節(jié)點(diǎn)重復(fù)導(dǎo)致過(guò)多無(wú)效個(gè)體產(chǎn)生的問(wèn)題以及神經(jīng)樹(shù)網(wǎng)絡(luò)模型的最大深度設(shè)置問(wèn)題。
　　(2)根據(jù)神經(jīng)樹(shù)網(wǎng)絡(luò)模型的自身特點(diǎn)，給出了一種新的神經(jīng)樹(shù)網(wǎng)絡(luò)模型元組描述法，為神經(jīng)樹(shù)網(wǎng)絡(luò)模型提供

5、了一個(gè)方便和科學(xué)的描述方法。
　　2、通過(guò)研究目前關(guān)于神經(jīng)樹(shù)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)和參數(shù)已有的優(yōu)化方法，從以下三個(gè)方面對(duì)其優(yōu)化方法進(jìn)行研究和改進(jìn):
　　(1)在神經(jīng)樹(shù)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)優(yōu)化方面:提出了基于積木塊庫(kù)的改進(jìn)遺傳規(guī)劃算法、基于層次可變概率向量的PIPE算法和基于樹(shù)編碼的粒子群優(yōu)化算法。相關(guān)仿真實(shí)驗(yàn)表明，上述方法可以有效的減少進(jìn)化過(guò)程中無(wú)效個(gè)體的產(chǎn)生，提高神經(jīng)樹(shù)網(wǎng)絡(luò)模型的進(jìn)化收斂速度和誤差精度。
　　(2)在神經(jīng)樹(shù)網(wǎng)絡(luò)

6、模型參數(shù)優(yōu)化方面:引入差分進(jìn)化算法，該算法具有控制參數(shù)少、實(shí)現(xiàn)容易、不易陷入局部極小等特點(diǎn)，非常適合神經(jīng)樹(shù)網(wǎng)絡(luò)模型的參數(shù)優(yōu)化。
　　(3)在神經(jīng)樹(shù)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)優(yōu)化和參數(shù)優(yōu)化協(xié)調(diào)方面:針對(duì)目前先拓?fù)浣Y(jié)構(gòu)優(yōu)化后參數(shù)優(yōu)化學(xué)習(xí)策略可能產(chǎn)生的“干擾適應(yīng)度評(píng)價(jià)”問(wèn)題，提出了一種改進(jìn)的BGP算法，實(shí)現(xiàn)了神經(jīng)樹(shù)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)和參數(shù)的同時(shí)優(yōu)化。相關(guān)仿真實(shí)驗(yàn)表明，該算法能有效的提高神經(jīng)樹(shù)網(wǎng)絡(luò)模型的進(jìn)化收斂速度和誤差精度。
　　3、結(jié)合集成

7、學(xué)習(xí)提出了神經(jīng)樹(shù)網(wǎng)絡(luò)集成的概念，對(duì)神經(jīng)樹(shù)網(wǎng)絡(luò)集成在數(shù)據(jù)挖掘領(lǐng)域中的分類和預(yù)測(cè)問(wèn)題上的應(yīng)用進(jìn)行了研究并提出了若干相關(guān)模型:
　　(1)在分類問(wèn)題方面:提出了一種以神經(jīng)樹(shù)網(wǎng)絡(luò)模型為基本分類器的神經(jīng)樹(shù)網(wǎng)絡(luò)集成方法，以“輸出結(jié)果處理法”為主要研究對(duì)象，構(gòu)建了基于糾錯(cuò)碼的神經(jīng)樹(shù)網(wǎng)絡(luò)集成分類模型，同時(shí)給出了該集成分類模型的算法設(shè)計(jì)和工作流程，最后在若干 UCI數(shù)據(jù)集上對(duì)該集成分類模型的有效性和優(yōu)越性進(jìn)行了實(shí)驗(yàn)驗(yàn)證；另外，提出了基于Baggin

8、g和Boosting的神經(jīng)樹(shù)網(wǎng)絡(luò)集成分類模型，同時(shí)給出了兩種集成分類模型的算法設(shè)計(jì)及其在若干 UCI數(shù)據(jù)集上的仿真實(shí)驗(yàn)對(duì)比。
　　(2)在預(yù)測(cè)問(wèn)題方面:提出了基于Bagging和Boosting的神經(jīng)樹(shù)網(wǎng)絡(luò)集成預(yù)測(cè)模型，并以非線性函數(shù)模擬為應(yīng)用對(duì)象，與相關(guān)模型的性能分別進(jìn)行了仿真實(shí)驗(yàn)對(duì)比。
　　4、根據(jù)神經(jīng)樹(shù)網(wǎng)絡(luò)模型研究的實(shí)驗(yàn)需求，結(jié)合面向?qū)ο蠹夹g(shù)和軟件 Matlab R2008a，在Visual Studio。NET200