神經(jīng)元控制

1、神經(jīng)元網(wǎng)絡(luò)控制,神經(jīng)網(wǎng)絡(luò)控制是20世紀80年代末期發(fā)展起來的控制領(lǐng)域的前沿學(xué)科之一。它是智能控制的一個新的分支，為解決復(fù)雜非線性、不確定、不確知系統(tǒng)的控制問題開辟了新途徑。,,第一章 概論,神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的、同時也是很簡單的神經(jīng)元廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。它反映了人腦功能的許多基本特性，但它并不是人腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)的真實寫照，而只是對其作某種簡化抽象和機制模擬。 研究神經(jīng)網(wǎng)絡(luò)系統(tǒng)的目的在于探索人腦加工、

2、存儲和處理信息的機制，進而研制基本具有人類智能的機器。 一般認為，神經(jīng)網(wǎng)絡(luò)系統(tǒng)是一個高度復(fù)雜的非線性動力學(xué)系統(tǒng)。雖然每個神經(jīng)元的結(jié)構(gòu)和功能十分簡單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為卻是豐富多彩和十分復(fù)雜的。,什么是神經(jīng)網(wǎng)絡(luò)(neural network)神經(jīng)網(wǎng)絡(luò)是人類對其大腦信息處理機制的模擬,人工神經(jīng)網(wǎng)絡(luò)的特點,人工神經(jīng)網(wǎng)絡(luò) 是由人工神經(jīng)元互聯(lián)組成的網(wǎng)絡(luò)，從微觀結(jié)構(gòu)和功能上對人腦的抽象、簡化，是模擬人類智

3、能的一條重要途徑。人工神經(jīng)網(wǎng)絡(luò) 反映了人腦功能的若干基本特征，如，并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。,神經(jīng)網(wǎng)絡(luò)控制取得的進展,神經(jīng)網(wǎng)絡(luò)用于控制領(lǐng)域，取得了如下進展。 1. 神經(jīng)網(wǎng)絡(luò)系統(tǒng)辯識：重點在于非線性系統(tǒng)的建模與辨識。 2. 神經(jīng)網(wǎng)絡(luò)控制：對不確定、不確知系統(tǒng)及擾動進行有效的控制，使控制系統(tǒng)達到所要求的特性。 3. 神經(jīng)網(wǎng)絡(luò)與其它算法結(jié)合：與專家系統(tǒng)、模糊邏輯、遺傳算法等相結(jié)合，為系統(tǒng)提供非參數(shù)模

4、型、控制器模型。 4. 優(yōu)化計算 5. 控制系統(tǒng)的故障診斷 本課程介紹前三個方面的問題,,神經(jīng)網(wǎng)絡(luò)控制屬于智能控制,由于神經(jīng)網(wǎng)絡(luò)具有模擬人的部分智能的特性，因此，神經(jīng)網(wǎng)絡(luò)控制 是具有學(xué)習(xí)能力的，對環(huán)境的變化具有自適應(yīng)性，成為基本上不依賴于模型的一類控制。神經(jīng)網(wǎng)絡(luò)控制 主要解決非線性系統(tǒng)的控制問題。能學(xué)習(xí)、自適應(yīng)性、非線性控制是神經(jīng)網(wǎng)絡(luò)控制的特點。神經(jīng)網(wǎng)絡(luò)控制屬于智能控制,第二章 神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ),

5、1. 介紹模擬生物神經(jīng)元的人工神經(jīng)元模型2. 控制中常用的前饋與反饋型網(wǎng)絡(luò)的理論基礎(chǔ) 闡述其中若干種網(wǎng)絡(luò)的模型、學(xué)習(xí)算法、逼近非線性函數(shù)的能力、泛化能力、收斂性等,本章主要內(nèi)容,引 言,人腦神經(jīng)系統(tǒng) 　人腦約由10^11～10^12個神經(jīng)元組成，每個神經(jīng)元約與10^4～10^5個神經(jīng)元聯(lián)接，能接受并處理信息。因此，人腦是復(fù)雜的信息并行加工處理巨系統(tǒng)。人的思維是由腦完成的。 　

6、 大腦的自組織、自學(xué)習(xí)性　　大腦可通過自組織、自學(xué)習(xí)，不斷適應(yīng)外界環(huán)境的變化。大腦的自組織、自學(xué)習(xí)性，來源于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可塑性，主要反映在神經(jīng)元之間聯(lián)接強度的可變性上。,2.1生物神經(jīng)元和人工神經(jīng)元模型,2.1生物神經(jīng)元和人工神經(jīng)元模型,生物神經(jīng)元 構(gòu)成神經(jīng)系統(tǒng)的基本功能單元?！　‰m其形態(tài)有很大的差異，但基本結(jié)構(gòu)相似。　 從信息處理和生物控制角度，簡述其結(jié)構(gòu)和功能。,人工神經(jīng)元模型 簡稱神經(jīng)

7、元模型依據(jù)：生物神經(jīng)元的結(jié)構(gòu)和功能；模擬：生物神經(jīng)元的基本特征，建立的多種神經(jīng)元模型。,一 生物神經(jīng)元的結(jié)構(gòu),（1）細胞體：由細胞核、細胞質(zhì)和細胞膜等組成。 （2）樹突：胞體上短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動。 （3）軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動。 （4）突觸：神經(jīng)元間的連接接口，

8、每個神經(jīng)元約有1萬～10萬個突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。 （5）細胞膜電位：神經(jīng)細胞在受到電的、化學(xué)的、機械的刺激后，能產(chǎn)生興奮，此時，細胞膜內(nèi)外有電位差，稱膜電位。電位膜內(nèi)為正，膜外為負。,二、 神經(jīng)元功能,（1）興奮與抑制： 當(dāng)傳入神經(jīng)元的沖動，經(jīng)整和，

9、使細胞膜電位升高，超過動作電位的閾值時，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末稍傳出。 當(dāng)傳入神經(jīng)元的沖動，經(jīng)整和，使細胞膜電位降低，低于閾值時，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。 （2）學(xué)習(xí)與遺忘：　　　 由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強與減弱，因此，神經(jīng)元具有學(xué)習(xí)與遺忘的功能。,三、人工神經(jīng)元模型,MP模型,MP模型,其他形式的作用函數(shù) 不同的作用函數(shù)，可

10、構(gòu)成不同的神經(jīng)元模型,,3．對稱型階躍函數(shù),非線性激勵函數(shù),S型(Sigmoid)函數(shù)的特點,具有非線性放大增益。對任意輸人的增益等于該輸入點處的函數(shù)曲線的斜率值。當(dāng)輸入由－∞增大到零時，其增益由0增至最大；當(dāng)輸入由0增加至＋∞時，其增益又由最大逐漸降低至0，并總為正值。利用S型函數(shù)可以使同一神經(jīng)網(wǎng)絡(luò)既能處理小信號，也能處理大信號。因為該函數(shù)的中間高增益區(qū)解決了處理小信號的問題，而在伸向兩邊的低增益區(qū)正好適用于處理大信號的輸入。,2.2

11、 人工神經(jīng)網(wǎng)絡(luò),一、神經(jīng)網(wǎng)絡(luò)連接結(jié)構(gòu),單層神經(jīng)元網(wǎng)絡(luò)連接結(jié)構(gòu),將多個的簡單的神經(jīng)元并聯(lián)起來，使每個神經(jīng)元具有相同的輸入矢量，即可組成一個神經(jīng)元層，其中每一個神經(jīng)元產(chǎn)生一個輸出，圖示單層神經(jīng)元網(wǎng)絡(luò)。,輸入矢量Ｐ的每個元素通過權(quán)矩陣W與每個輸出神經(jīng)元相連；每個神經(jīng)元通過一個求和符號，在與輸入矢量進行加權(quán)求和運算后，形成激活函數(shù)的輸入矢量，并經(jīng)過激活函數(shù)ｆ作用后得到輸出矢量A。,輸入、權(quán)值、輸出矩陣,輸入矩陣,權(quán)值矩陣,輸出矩陣,連接

12、強度,,多層神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu),三層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,b：偏差，閾值，門限值。,二、神經(jīng)網(wǎng)絡(luò)的信息處理和存儲,神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應(yīng)和自學(xué)習(xí)能力，特別適用于處理需要同時考慮許多因素和條件不精確和模糊的信息處理問題。,神經(jīng)網(wǎng)絡(luò)兩大的能力,信息存儲能力,計算能力,,,神經(jīng)網(wǎng)絡(luò)的主要特點,分布存儲與冗余性容錯性,并行處理,信息處理與存儲合一,自組織自適應(yīng)自學(xué)習(xí),魯棒性,,,,,,神經(jīng)網(wǎng)絡(luò)的能

13、力,神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)計算機的比較,傳統(tǒng)計算機的計算與存儲是完全獨立的兩個部分。也就是說計算機在計算之前要從存儲器中取出指令和待處理的數(shù)據(jù)，然后進行計算，最后將結(jié)果又放入到存儲器中。這樣，獨立的存儲器與運算器之間的通道就成為提高計算機計算能力的瓶頸，并且只要這兩個部分是獨立存在的，就始終存在這一問題。 神經(jīng)網(wǎng)絡(luò)模型則從本質(zhì)上解決了傳統(tǒng)計算機的這個瓶頸問題。這是因為神經(jīng)網(wǎng)絡(luò)的運行是從輸入到輸出的值傳遞過程，在值傳遞的同時就完成

14、了信息的存儲和計算，從而將信息的存儲與信息的處理（計算）完善地結(jié)合在一起。,三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練,該系統(tǒng)在進行字符識別之前要用環(huán)境中的樣本進行訓(xùn)練（學(xué)習(xí)），以使其具備對各種字符進行分類的能力。能夠正確“認識”待識別的字符，該學(xué)習(xí)過程也稱為訓(xùn)練過程、慢過程。它主要是改變神經(jīng)元之間的連接權(quán)值以便將有關(guān)字符的信息存儲到神經(jīng)網(wǎng)絡(luò)中。,舉例,字符識別,,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法之一,一個神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)確定之后，為了使它具有某種智能特性，必須對

15、它進行訓(xùn)練。通過向環(huán)境學(xué)習(xí)獲取知識并改進自身性能是神經(jīng)網(wǎng)絡(luò)的一個重要特點。學(xué)習(xí)方法歸根結(jié)底就是網(wǎng)絡(luò)連接權(quán)值的調(diào)整方法，修改權(quán)值的規(guī)則稱為學(xué)習(xí)算法。學(xué)習(xí)方式(按環(huán)境提供信息量的多少)主要有三種。,監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí)),這種學(xué)習(xí)方式需要外界存在一個“教師”，他可對給定一組輸入提供應(yīng)有的輸出結(jié)果(正確答案)，這組已知的輸入輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)(NN)可根據(jù)已知輸出與實際輸出之間的差值(誤差信號)來調(diào)節(jié)系統(tǒng)參數(shù)。,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方

16、法之二、三,這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價信息(獎或懲)而不是給出正確答案。學(xué)習(xí)系統(tǒng)通過強化那些受獎的動作來改善自身的性能。,非監(jiān)督學(xué)習(xí)(無教師學(xué)習(xí)),非監(jiān)督學(xué)習(xí)時不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)(這是一種自組織過程)，以表示出外部輸入的某種固有特性(如聚類或某種統(tǒng)計上的分布特征)。,再勵學(xué)習(xí)(強化學(xué)習(xí)),四、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法基礎(chǔ),如果單元ui接收來自另一單元

17、uj的輸出，那么，如果兩個單元都高度興奮，則從uj到ui的權(quán)值wij便得到加強。,Hebb學(xué)習(xí)規(guī)則的基本思想:,該思想用數(shù)學(xué)來表達:,ti(t)是對于單元ui的一種理想輸入,該式意味著，從uj到ui的連接權(quán)值的修改量是由單元ui的活躍值ai(t)和它的理想輸入ti(t)的函數(shù)g,及ui的輸出值oj(t)和連接強度wij的函數(shù)h的積確定。,在Hebb學(xué)習(xí)規(guī)則的最簡單形式中沒有理想輸入，而且函數(shù)g和h與它們的第一個自變量成正比。因此有：,η

18、——學(xué)習(xí)速率,兩種基本的學(xué)習(xí)算法,Widrow-Hoff(威德羅-霍夫)規(guī)則,又稱作Delta規(guī)則,,若定義,則有,修正量與目標(biāo)活躍值和實際的活躍值之差(或稱Delta)成正比,Grossberg規(guī)則—相近學(xué)習(xí)規(guī)則,Delta規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出，故Delta規(guī)則實際上是一種梯度方法。,用于ART、SOFM等自組織競爭型網(wǎng)絡(luò)的學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的計算過程,無論是在訓(xùn)練（慢過程）學(xué)習(xí)中，還是在快過程識別中，神經(jīng)元的計算過程都是一樣

19、的。神經(jīng)元從環(huán)境中或是從其它神經(jīng)元接收信息，利用傳播規(guī)則將這些接收到的信息融合成一總的輸入值，這一輸入值和神經(jīng)元原來的活躍值在活躍規(guī)則的作用下形成神經(jīng)元新的活躍狀態(tài)，輸出函數(shù)根據(jù)神經(jīng)元新的活躍狀態(tài)產(chǎn)生神經(jīng)元的輸出；這一輸出值又傳送給網(wǎng)絡(luò)中的其它神經(jīng)元。系統(tǒng)的計算實際上是信息在神經(jīng)網(wǎng)絡(luò)中沿神經(jīng)元之間的連接流動并通過神經(jīng)元作相應(yīng)的處理而完成的。這個過程也就是一個信息傳遞和神經(jīng)元狀態(tài)變換的過程。,五、神經(jīng)網(wǎng)絡(luò)的類型,神經(jīng)網(wǎng)絡(luò)可以分成以下四種類

20、型,前向型,反饋型,隨機型,競爭型,BP前向神經(jīng)網(wǎng)絡(luò)是中廣為應(yīng)用的一種網(wǎng)絡(luò)，其原理及算法也是某些其他網(wǎng)絡(luò)的基礎(chǔ)。還有輻射基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)。,Hopfield神經(jīng)網(wǎng)絡(luò)用于非線性動力學(xué)問題分析。已在聯(lián)想記憶和優(yōu)化計算中得到成功的應(yīng)用。,具有隨機性質(zhì)的模擬退火(SA)算法解決了優(yōu)化計算過程陷于局部極小的問題，并已在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)及優(yōu)化計算中得到成功的應(yīng)用。,競爭型網(wǎng)絡(luò)的特點是能識別環(huán)境的特征,并自動聚類。廣泛用于自動控制、故障診斷等各

21、類模式識別中。,六、人工神經(jīng)網(wǎng)絡(luò)與自動控制,人工神經(jīng)網(wǎng)絡(luò)對自動控制具有多種有吸引力的特點，主要有： ⑴它能以任意精度逼近任意連續(xù)非線性函數(shù)。⑵對復(fù)雜不確定問題具有自適應(yīng)和自學(xué)習(xí)能力。⑶它的信息處理的并行機制可以解決控制系統(tǒng)中大規(guī)模實時計算問題，而且并行機制中的冗余性可以使控制系統(tǒng)具有很強的容錯能力。⑷它具有很強的信息綜合能力，能同時處理定量和定性的信息，能很好地協(xié)調(diào)多種輸入信息的關(guān)系，適用于多信息融合（Fusion）和多媒體技術(shù)

22、。⑸神經(jīng)計算可以解決許多自動控制計算問題，如優(yōu)化計算和矩陣代數(shù)計算等。⑹便于用VLSI或光學(xué)集成系統(tǒng)實現(xiàn)或用現(xiàn)有計算機技術(shù)虛擬實現(xiàn)。,人工神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的應(yīng)用,神經(jīng)網(wǎng)絡(luò)的興起為非線性系統(tǒng)的控制提供了新的活力。神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的應(yīng)用是多種多樣的，就其在控制系統(tǒng)中所起的作用而言有如下幾種方式：⑴為控制系統(tǒng)提供某種模型。⑵充當(dāng)各類控制器。⑶作為計算部件實現(xiàn)某種優(yōu)化計算。,人工神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域,語音識別、圖象識別與理解

23、、計算機視覺、智能機器人、故障檢測、實時語言翻譯、企業(yè)管理、市場分析、決策優(yōu)化、物資調(diào)運、自適應(yīng)控制、專家系統(tǒng)、智能接口、神經(jīng)生理學(xué)、心理學(xué)和認知科學(xué)研究等等。,模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、智能控制,2.3 多層前饋網(wǎng)絡(luò)與BP學(xué)習(xí)算法,多層前饋網(wǎng)絡(luò)的反向傳播 （BP）學(xué)習(xí)算法，簡稱BP算法，是有導(dǎo)師的學(xué)習(xí)，它是梯度下降法在多層前饋網(wǎng)中的應(yīng)用。,網(wǎng)絡(luò)結(jié)構(gòu),u、y是網(wǎng)絡(luò)的輸入、輸出向量，神經(jīng)元用節(jié)點表示，網(wǎng)絡(luò)由輸入層、

24、隱層和輸出層節(jié)點組成，隱層可一層，也可多層（圖中是單隱層），前層至后層節(jié)點通過權(quán)聯(lián)接。由于用BP學(xué)習(xí)算法，所以常稱BP神經(jīng)網(wǎng)絡(luò)。,一、BP學(xué)習(xí)算法的基本思想,已知網(wǎng)絡(luò)的輸入/輸出樣本，即導(dǎo)師信號。BP學(xué)習(xí)算法由正向傳播和反向傳播組成：正向傳播是輸入信號從輸入層經(jīng)隱層，傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。反向傳播是將誤差(樣本輸出與網(wǎng)絡(luò)輸出之差）按原聯(lián)接通路反向計算，由梯度下降法調(diào)整各層節(jié)點的權(quán)

25、值和閾值，使誤差減小。,,正向傳播,,反向傳播,通過連續(xù)不斷地在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸逼近目標(biāo)。每一次權(quán)值和偏差的變化都與網(wǎng)絡(luò)誤差的影響成正比，并以反向傳播的方式傳遞到每一層的。,在正向傳播過程中，輸入信息從輸人經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來

26、修改各層神經(jīng)元的權(quán)值直至達到期望目標(biāo)。,二、BP學(xué)習(xí)算法框圖,⑴權(quán)值和閾值初始化:隨機地給全部權(quán)值和神經(jīng)元的閾值賦以初始值；,⑵給定輸入/輸出樣本對；,⑶計算實際輸出y；,⑹反向傳播計算：從輸出層開始，將誤差信號沿連接通路反向計算，逐層修正各權(quán)值。,⑷計算網(wǎng)絡(luò)的目標(biāo)函數(shù)J(t)；,⑸判別：若J(t)≤ε(預(yù)先確定,ε＞0)，算法結(jié)束。否則，至步驟⑹。,⑺達到誤差精度或循環(huán)次數(shù)要求，則輸出結(jié)果，否則回到⑵。,三、BP學(xué)習(xí)算法步驟⑴,正向傳

27、播,,三、BP學(xué)習(xí)算法步驟⑵,正向傳播,,三、BP學(xué)習(xí)算法步驟⑶,反向傳播,,具體算法,,,,三、BP學(xué)習(xí)算法步驟⑷,,,,,ml是節(jié)點i后邊一層的第ml個節(jié)點。,,節(jié)點ml的第j個輸入。,當(dāng)i ＝ j 時，,,四、BP學(xué)習(xí)算法有關(guān)的幾個問題,四、BP學(xué)習(xí)算法有關(guān)的幾個問題,（5） 改進的BP算法 梯度下降法的不足，是BP算法收斂速度慢的原因，有改進的BP算法克服其不足，如：,四、BP學(xué)習(xí)算法有關(guān)的幾個問題,四、BP學(xué)習(xí)算法有

28、關(guān)的幾個問題,EBP學(xué)習(xí)算法示意圖⑴,EBP學(xué)習(xí)算法示意圖⑵,五、BP網(wǎng)絡(luò)的設(shè)計,網(wǎng)絡(luò)的層數(shù),每層的神經(jīng)元個數(shù),激活函數(shù)的選擇,初始權(quán)值,學(xué)習(xí)速率,網(wǎng)絡(luò)的層數(shù),,理論上己經(jīng)證明：具有偏差和至少一個s型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。這實際上已經(jīng)給了我們一個基本的設(shè)計BP網(wǎng)絡(luò)的原則。增加層數(shù)主要可以更進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。而誤差精度的提高實際上也可以通過增加隱

29、含層中的神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整。所以一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。,隱含層的神經(jīng)元數(shù),網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。那么究竟選取多少個隱含層節(jié)點才合適?這在理論上并沒有一個明確的規(guī)定。在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c余量。,初始權(quán)值的選取,由于系統(tǒng)是

30、非線性的，初始值對于學(xué)習(xí)是否達到局部最小、是否能夠收斂以及訓(xùn)練時間的長短的關(guān)系很大。如果初始權(quán)值太大，使得加權(quán)后的輸入和n落在了S型激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計算權(quán)值修正公式中，因為η∝導(dǎo)數(shù)，當(dāng)導(dǎo)數(shù)→0時，則有η →0。這使得ΔW→0，從而使得調(diào)節(jié)過程幾乎停頓下來。所以，一般總是希望經(jīng)過初始加權(quán)后的每個神經(jīng)元的輸出值都接近于零，這樣可以保證每個神經(jīng)元的權(quán)值都能夠在它們的S型激活函數(shù)變化最大之處進行調(diào)節(jié)。所以，一般取初始

31、權(quán)值在(-1,1)之間的隨機數(shù)。,學(xué)習(xí)速率,學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定;但小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01-0.8之間。,在一個神經(jīng)網(wǎng)絡(luò)的設(shè)計過程中。網(wǎng)絡(luò)要經(jīng)過幾個不同的學(xué)習(xí)速率的訓(xùn)練，通過觀察每一次訓(xùn)練后的誤差平方和

32、的下降速率來判斷所選定的學(xué)習(xí)速率是否合適。如果誤差平方和下降很快，則說明學(xué)習(xí)速率合適，若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學(xué)習(xí)速率過大。對于每一個具體網(wǎng)絡(luò)都存在一個合適的學(xué)習(xí)速率。但對于較復(fù)雜網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學(xué)習(xí)速率。為了減少尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時間，比較合適約方法是采用變化的自適應(yīng)學(xué)習(xí)速率，使網(wǎng)絡(luò)的訓(xùn)練在不同的階段自動設(shè)置不同學(xué)習(xí)速率的大小。,EBP算法學(xué)習(xí)速率的調(diào)整,在EBP算法中，連接權(quán)的調(diào)整決定于學(xué)

33、習(xí)速率和梯度，但是，在基本的EBP算法中，學(xué)習(xí)速率是不變的。實際上學(xué)習(xí)速率對收斂速度的影響也很大，通過對它的在線調(diào)整，可以大大提高收斂速度。 學(xué)習(xí)速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學(xué)習(xí)過程失穩(wěn)。學(xué)習(xí)速率可以根據(jù)誤差變化的信息和誤差函數(shù)對連接權(quán)梯度變化的信息進行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對學(xué)習(xí)速率的梯度直接進行調(diào)整。,對于成批處理可以根據(jù)總誤差變化的信息進行啟發(fā)式調(diào)整，其規(guī)則是： (1)若總誤差E減

34、小(即新誤差比老誤差小)，則學(xué)習(xí)速率增加(例如將實際值乘以因子a=1.05)。 (2)若總誤差E增加(即新誤差比老誤差大)，則學(xué)習(xí)速率減小。當(dāng)新誤差與老誤差之比超過一定值(例如1.04)，則學(xué)習(xí)速率快速下降(例如將實際值乘以因子b=0.7)。,期望誤差的選取,在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值，這個所謂的"合適"，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠

35、增加隱含層的節(jié)點，以及訓(xùn)練時間來獲得的。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò)。,六、基于MATLAB的BP網(wǎng)絡(luò)程序設(shè)計,T＝[－0.9602 －0.577 0.0729 0.3771 0.6405 0.6600 0.4609 －0.2013 －0.4344 －0.5 －0.3930 0.1647 0.0988 0.3072 0.3960 0.3449 0.18

36、16 －0.0312 －0.2183 －0.3201]。,舉例：設(shè)計一BP網(wǎng)絡(luò)，使之完成下面的非線性映射。,已知訓(xùn)練樣本集為：,輸入矢量：X＝－1：0.1：1；,目標(biāo)矢量：,⒈網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計,現(xiàn)已證明，具有一個隱層，隱層作用函數(shù)采用S函數(shù)，輸出層采用線性函數(shù)的前饋神經(jīng)網(wǎng)絡(luò)，能以任意精度逼近任意非線性函數(shù)，或者說可以實現(xiàn)從Rm空間到Rn空間的任意非線性映射。 對隱層的結(jié)點數(shù)，有這樣的結(jié)論：隱結(jié)點數(shù)越多，逼近

37、誤差越小，但泛化誤差越大。逼近誤差就是網(wǎng)絡(luò)對訓(xùn)練樣本的輸出誤差平方和，泛化誤差就是網(wǎng)絡(luò)對測試樣本的輸出誤差平方和。因而隱結(jié)點數(shù)的選擇，應(yīng)綜合考慮對逼近誤差和泛化誤差的影響，這方面的研究可查相關(guān)文獻，一般按2P+1確定(P為輸入層結(jié)點數(shù))。這里初始隱結(jié)點數(shù)取為5。 因此，實現(xiàn)本題的非線性映射，采用一個1×5×1的單隱層前饋網(wǎng)絡(luò)就行了。,一個網(wǎng)絡(luò)的訓(xùn)練，不僅要給出最終訓(xùn)練完成后網(wǎng)絡(luò)各層的權(quán)值矩陣和閾值矢量，還應(yīng)該

38、讓設(shè)計者看到中間過程，看到圖形顯示，看到逼近誤差等等。下面是采用標(biāo)準(zhǔn)BP算法訓(xùn)練網(wǎng)絡(luò)的命令文件，取名為×××.m。,⒉程序設(shè)計⑴,% 文件名：×××.m% (1)初始設(shè)置clf;figure (gcf)colordef (gcf,'none')echo onclcpause %按任意鍵看輸入數(shù)據(jù)clc % (2)輸入數(shù)

39、據(jù)X=-1:0.1:1;T=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609... 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988... 0.3072 0.3960 0.3499 0.1816 -0.0312 -0.2189 -0.3201];,⒉程序設(shè)計⑵,pause %按任意鍵看X-T圖

40、clc % (3)繪X-T圖plot(X,T,'+');title('Training vectors');xlabel('input vector X');ylabel('Target vector T');pause %按任意鍵看初始化及訓(xùn)練網(wǎng)絡(luò)clc % (4)初始化網(wǎng)絡(luò)n1=5;[W1,b1,W2,b2]=in

41、itff(X,n1,'tansig',T,'purelin');,⒉程序設(shè)計⑶,% (5)訓(xùn)練網(wǎng)絡(luò)fpd=100; %學(xué)習(xí)過程顯示頻率mne=20000; %最大訓(xùn)練步驟sse=0.001; %誤差平方和指標(biāo)lr=0.01; %學(xué)習(xí)率tp=[fpd,mne,sse,lr];[W1,b1,W2,b2,te,tr]=trainbp(W1,b1,'tansig

42、',W2,b2,'purelin',X,T,tp);pause %按任意鍵看誤差相對訓(xùn)練步數(shù)曲線圖Clc% (6)繪誤差平方和相對訓(xùn)練步數(shù)曲線圖ploterr(tr,sse);pause %按任意鍵看函數(shù)逼近clc,% (7)函數(shù)逼近x=0.5; %訓(xùn)練樣本的一個輸入t=0.3960; %訓(xùn)練樣本的對應(yīng)目標(biāo)y=simuff(x,W1,b1,'ta

43、nsig',W2,b2,'purelin')err=y-t %檢查網(wǎng)絡(luò)對訓(xùn)練樣本的逼近誤差echo off,⒊討論 ⑴隱節(jié)點數(shù)n1及訓(xùn)練參數(shù)tp,⑴隱節(jié)點數(shù)n1及訓(xùn)練參數(shù)tp不改變時，每次運行程序時的實際訓(xùn)練次數(shù)te和實際誤差平方和pe是不同的。,下表是連續(xù)四次運行網(wǎng)絡(luò)獲得的te、pe值。,,為什么會出現(xiàn)這種現(xiàn)象呢? 網(wǎng)絡(luò)的初始值是隨機選取的，因而每次的初始值必不相同，這就使得網(wǎng)絡(luò)各神經(jīng)元的凈

44、輸入可大可小，落在傳遞函數(shù)不同的位置，因而獲得的導(dǎo)數(shù)值也是不同的。而權(quán)值修正公式中，δ函數(shù)正比于導(dǎo)數(shù)值，導(dǎo)數(shù)值較大時，修正量較大，故收斂也較快；反之網(wǎng)絡(luò)處于麻痹狀態(tài)，收斂較慢。 由此看來，當(dāng)網(wǎng)絡(luò)訓(xùn)練情況不理想時，不要急于改變各參數(shù)值，而是試著再訓(xùn)練幾次，直到滿意為止。如果連續(xù)幾次訓(xùn)練情況都不好，那就再考慮改變一些參數(shù)的設(shè)定。,⑵隱結(jié)點數(shù)對訓(xùn)練誤差的影響,,上表給出n1＝3及n1＝8時連續(xù)四次運行結(jié)果。 當(dāng)nl＝3時，連續(xù)

45、四次運行，當(dāng)訓(xùn)練步數(shù)達到最大值時，誤差平方和均未達到其目標(biāo)值，因而可以認為，隱結(jié)點數(shù)少了。nl＝8時，情況與nl＝5時差不多，網(wǎng)絡(luò)誤差平方和均少于給定目標(biāo)值。 那么，選擇nl＝5還是nl＝8呢？如前所述，隱結(jié)點數(shù)越多，訓(xùn)練誤差越小，但泛化誤差越大。因此，在達到訓(xùn)練誤差的前提下，隱結(jié)點數(shù)越少越好。,⑶學(xué)習(xí)率對訓(xùn)練速度及穩(wěn)定性的影響,,,從圖1中可知，當(dāng)學(xué)習(xí)率lr較小時，誤差穩(wěn)步下降，直到收斂；加大lr，誤差在開始急劇下降，但后期趨

46、于平坦，收斂較慢；進一步加大lr，誤差開始出現(xiàn)劇烈波動，后期趨于平坦，收斂也較慢；再加大lr，誤差除早期劇烈波動外，在規(guī)定的最大訓(xùn)練次數(shù)內(nèi)不收斂。 因此，寧可選擇較小的學(xué)習(xí)率，以求穩(wěn)步收斂。,⑷過度擬合與泛化能力,假設(shè)訓(xùn)練樣本的輸入為X＝[－1.0 －0.7 －0.4 －0.1 0.2 0.5 0.8]，目標(biāo)為T＝X。現(xiàn)將目標(biāo)值改動一下，在部分點上加入0.5的攝動量，即T＝[－1.0 －0.2 －0.4 －0.6 0.2 1.0

47、 0.8]，觀察網(wǎng)絡(luò)逼近效果。當(dāng)mne＝200時，逼近曲線如圖2。此時，pe＝0.59998，當(dāng)mne＝15000時，逼近曲線如圖3，此時pe＝0.000999701。,,,可看出，當(dāng)訓(xùn)練次數(shù)較少時，網(wǎng)絡(luò)只學(xué)到樣本的共性，即逼近函數(shù)接近無攝動時的情況，接近一條直線，這樣，網(wǎng)絡(luò)將有較好的泛化能力。,而訓(xùn)練次數(shù)加大時，網(wǎng)絡(luò)將充分擬合樣本點，從而喪失了原樣本所含的規(guī)律，這樣，網(wǎng)絡(luò)的泛化能力較差。因此，當(dāng)樣本數(shù)據(jù)含有噪聲時，過分追求減小訓(xùn)練誤差