神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

1、BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用,數(shù)學(xué)建模工作室,房恩岳,2012.11.07,Contents,神經(jīng)網(wǎng)絡(luò)概述BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例在matlab中的實(shí)現(xiàn)BP 網(wǎng)絡(luò)模型改進(jìn),神經(jīng)網(wǎng)絡(luò)簡介,什么是神經(jīng)網(wǎng)絡(luò)？,人類的神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)（NNs）它是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。,神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí),構(gòu)成：大量簡單的基本元件——

2、神經(jīng)元相互連接 工作原理：模擬生物的神經(jīng)處理信息的方式 功能：進(jìn)行信息的并行處理和非線性轉(zhuǎn)化,特點(diǎn)：比較輕松地實(shí)現(xiàn)非線性映射過程 具有大規(guī)模的計(jì)算能力,神經(jīng)網(wǎng)絡(luò)的本質(zhì),神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是利用計(jì)算機(jī)語言模擬人類大腦做決定的過程,做決定,,,,距離,味道,價(jià)格,生物神經(jīng)元結(jié)構(gòu)：,那怎樣用機(jī)器語言來模擬呢？,神經(jīng)元結(jié)構(gòu)模型,xj為輸入信號(hào)， 為閾值， 表示與神經(jīng)元 xj 連接的權(quán)值 yi

3、表示輸出值,,判斷 是否大于閥值,什么是閥值？,臨界值。比如有一頭驢，往它身上壓稻草，一根一根地壓，當(dāng)壓到N根時(shí)，還沒有被壓倒，又壓了一根，倒了，這時(shí)所有壓在驢身上的稻草的多少，就是壓倒這頭驢的閾值。,神經(jīng)網(wǎng)絡(luò)是模仿大腦的神經(jīng)元，當(dāng)外界刺激達(dá)到一定的閥值時(shí)，神經(jīng)元才會(huì)受刺激，影響下一個(gè)神經(jīng)元。,判斷 是否大于閥值,若 大于閥值 ，則此神經(jīng)元接受此信息，輸出若

4、 小于閥值 ，則此神經(jīng)元不接受此信息的傳遞,,,,,系統(tǒng)本身/黑盒子,,,,知道,不知道,,,y=x^2,機(jī)場(chǎng),輸入：x,輸出：y,幾種代表性的網(wǎng)絡(luò)模型,單層前向神經(jīng)網(wǎng)絡(luò)——線性網(wǎng)絡(luò)階躍網(wǎng)絡(luò)多層前向神經(jīng)網(wǎng)絡(luò)(反推學(xué)習(xí)規(guī)則即BP神經(jīng)網(wǎng)絡(luò))Elman網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、雙向聯(lián)想記憶網(wǎng)絡(luò)、自組織競(jìng)爭網(wǎng)絡(luò)等等,神經(jīng)網(wǎng)絡(luò)能干什么？,運(yùn)用這些網(wǎng)絡(luò)模型可實(shí)現(xiàn)函數(shù)逼近、數(shù)據(jù)聚類、模式分類、優(yōu)化計(jì)算等功能 。因此,神經(jīng)網(wǎng)絡(luò)

5、廣泛應(yīng)用于人工智能、自動(dòng)控制、機(jī)器人、統(tǒng)計(jì)學(xué)等領(lǐng)域的信息處理中。雖然神經(jīng)網(wǎng)絡(luò)的應(yīng)用很廣,但是在具體的使用過程中到底應(yīng)當(dāng)選擇哪種網(wǎng)絡(luò)結(jié)構(gòu)比較合適是值得考慮的。這就需要我們對(duì)各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有一個(gè)較全面的認(rèn)識(shí),應(yīng)用范圍,,醫(yī)學(xué)：疾病識(shí)別圖像：識(shí)別、去噪、增強(qiáng)、配準(zhǔn)、融合金融：股票和有價(jià)證券的預(yù)測(cè)分析、資本收益的預(yù)測(cè)和分析、風(fēng)險(xiǎn)管理、信用評(píng)估等等,神經(jīng)網(wǎng)絡(luò),BP(Back-Propagation)神經(jīng)網(wǎng)絡(luò),BP 神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑?/p>

6、算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input)隱層(hide layer)和輸出層(output layer),BP神經(jīng)網(wǎng)絡(luò),特點(diǎn)：多層前饋神經(jīng)網(wǎng)絡(luò)，信號(hào)向前傳播，誤差向后傳播。結(jié)構(gòu)：,中間

7、層：輸入輸出,輸出層:輸入輸出,傳遞函數(shù),閾值型,線性型,S型,傳遞函數(shù)(激活函數(shù))logsig(S型函數(shù))：,MATLAB按此函數(shù)計(jì)算：,調(diào)用格式：A=logsig(N),如：n=-10:0.1:10 ；a=logsig(n)plot(n,a) grid on,圖形如下：,tansig(雙曲正切S型傳遞函數(shù))：,調(diào)用格式：A=tansig(n),如：n=-10:0.1:10 a=t

8、ansig(n)plot(n,a) grid on 如右圖所示,BP神經(jīng)網(wǎng)絡(luò)原理,基本BP算法包括兩個(gè)方面：信號(hào)的前向傳播和誤差的反向傳播。即計(jì)算實(shí)際輸出時(shí)按從輸入到輸出的方向進(jìn)行，而權(quán)值和閾值的修正從輸出到輸入的方向進(jìn)行。利用輸出后的誤差來估計(jì)輸出層的直接前一層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。,BP神經(jīng)網(wǎng)絡(luò)工作原理誤差向后傳播,BP神經(jīng)網(wǎng)絡(luò)工作流程,

9、1.網(wǎng)絡(luò)初始化：根據(jù)訓(xùn)練數(shù)據(jù)確定網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)n，隱含神經(jīng)元數(shù)l，輸出神經(jīng)元數(shù)m，初始化各層神經(jīng)元之間的連接權(quán)值 和 ，初始化隱含層和輸出層的閾值 a和b，給定學(xué)習(xí)速率和神經(jīng)元傳遞函數(shù)。2.隱含層輸出計(jì)算 ：根據(jù)輸入向量X，輸入層和隱含層連接權(quán)值 以及隱含層閾值a，計(jì)算隱含層輸出H,3.輸出層輸出計(jì)算。根據(jù)隱含層輸出的H,連接權(quán)值 和閾值b,計(jì)算BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出O.4.誤差計(jì)算根據(jù)預(yù)測(cè)輸出

10、O和期望輸出Y計(jì)算網(wǎng)絡(luò)預(yù)測(cè)誤差e5.權(quán)值更新根據(jù)網(wǎng)絡(luò)誤差更新網(wǎng)絡(luò)權(quán)值 ，6.閾值更新，根據(jù)網(wǎng)絡(luò)誤差網(wǎng)絡(luò)e，神經(jīng)元閾值a，b7.判斷算法迭代是否結(jié)束，若沒有結(jié)束返回步驟2,正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次

11、數(shù)為止,,,,,,BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程,BP標(biāo)準(zhǔn)算法步驟,網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元，輸出層有q個(gè)神經(jīng)元變量定義輸入向量：隱含層輸入向量：隱含層輸出向量：輸出層輸入向量：輸出層輸出向量：期望輸出向量：,BP標(biāo)準(zhǔn)算法步驟,變量定義輸入層與中間層的連接權(quán)值：隱含層與輸出層的連接權(quán)值：隱含層各神經(jīng)元的閾值：輸出層各神經(jīng)元的閾值：樣本數(shù)據(jù)個(gè)數(shù)：激活函數(shù)：誤差函數(shù)：,BP標(biāo)準(zhǔn)算法步驟,

12、1. 網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)M。,,2. 隨機(jī)選取一個(gè)輸入樣本及對(duì)應(yīng)期望輸出,BP標(biāo)準(zhǔn)算法步驟,3.計(jì)算隱含層和輸出層各神經(jīng)元的輸入和輸出,BP標(biāo)準(zhǔn)算法步驟,4.利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。,BP標(biāo)準(zhǔn)算法步驟,5. 利用隱含層到輸出層的連接權(quán)值、輸出層的輸出和隱含層的輸出，計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。

13、,BP標(biāo)準(zhǔn)算法步驟,BP標(biāo)準(zhǔn)算法步驟,6. 利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。,BP標(biāo)準(zhǔn)算法步驟,7. 利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。,BP標(biāo)準(zhǔn)算法步驟,8. 計(jì)算全局誤差,9. 判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。,,,梯度下降法,情況一、直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的

14、偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。,BP標(biāo)準(zhǔn)算法直觀解釋,情況二、直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。,BP標(biāo)準(zhǔn)算法直觀解釋,應(yīng)用實(shí)例,分類識(shí)別數(shù)據(jù)預(yù)測(cè)醫(yī)學(xué)診斷,蠓蟲的分類識(shí)別,思路,1、觸角長和翼長作為輸入信息，分別記x1,x2 目標(biāo)

15、輸出：(1,0) 、(0,1)。 Af類記為 (1,0)，Apf類記為(0,1)。,輸出層有兩個(gè)神經(jīng)元,2、通過已知樣本訓(xùn)練出合適的權(quán)值使輸出為(0,1)或(1,0)。,3、將待區(qū)分的蠓蟲數(shù)據(jù)輸入網(wǎng)絡(luò)，求值。,權(quán)值求法：向后傳播法理想輸出 Af類(1,0)，Apf類(0,1)記為 則有誤差：,使得E(w)最小的 作為所需的權(quán)值,,運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè),例：現(xiàn)給出一藥品商店一年當(dāng)中12個(gè)月的藥品銷

16、售量（單位：箱）如下：,訓(xùn)練一個(gè)BP網(wǎng)絡(luò)，用當(dāng)前的所有數(shù)據(jù)預(yù)測(cè)下一個(gè)月 的藥品銷售量。,拋開神經(jīng)網(wǎng)絡(luò)，對(duì)于預(yù)測(cè)問題我們會(huì)首先想到線性擬合的方法,,首先我們看一下這些數(shù)據(jù)的離散分布圖,但線性擬合有它的局限性，從圖中可以明顯看出月份與藥品銷量不存在線性關(guān)系，對(duì)于離散程度特別高的數(shù)據(jù)，它們不存在線性關(guān)系，所以用線性擬合做出來的誤差會(huì)很大,對(duì)于預(yù)測(cè)問題我們還可以用灰色系統(tǒng)、時(shí)間序列來預(yù)測(cè),思路二,我們用前三個(gè)

17、月的銷售量預(yù)測(cè)下一個(gè)月的銷售量，也就是用1-3月的銷售量預(yù)測(cè)第4個(gè)月的銷售量，用2-4個(gè)月的銷售量預(yù)測(cè)第5個(gè)月的銷售量，如此循環(huán)下去，直到用9-11月預(yù)測(cè)12月份的銷售量。這樣訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)后，就可以用10-12月的數(shù)據(jù)預(yù)測(cè)來年一月的銷售量。,譫妄的診斷,譫妄是由于各種原因引起的急性腦器質(zhì)性綜合癥，其特點(diǎn)是急性發(fā)病，意識(shí)水平變化，病程波動(dòng)，定向力、注意力、思維、精神運(yùn)動(dòng)、行為和情感改變。根據(jù)國外1980年以后的有關(guān)譫妄研究文獻(xiàn)的報(bào)道，

18、譫妄的發(fā)病率為4%~25%。目前對(duì)譫妄的發(fā)病機(jī)制還了解不多，診斷的方式常采用多個(gè)指標(biāo)綜合評(píng)價(jià)。,如對(duì)老年人譫妄，通常采用檢查表的方式確診，檢查表中的11個(gè)項(xiàng)目包含：急性起病：病人的精神狀況有急性變化的證據(jù)嗎？注意障礙：患者的注意力難以集中嗎？思維混亂：患者的思維是凌亂或是不連貫嗎？意識(shí)水平的改變：總體上看，您如何評(píng)價(jià)該患者的意識(shí)水平？定向障礙：在會(huì)面的任何時(shí)間患者存在定向障礙嗎？記憶力減退：在面談時(shí)患者表現(xiàn)出記憶方面的問題嗎

19、？知覺障礙：患者有知覺障礙的證據(jù)嗎？精神運(yùn)動(dòng)性興奮：面談時(shí)患者的行為活動(dòng)有不正常的增加嗎？精神運(yùn)動(dòng)性遲緩：面談時(shí)患者有運(yùn)動(dòng)行為水平的異常減少嗎？波動(dòng)性：患者的精神狀況（注意力、思維、定向、記憶力）在面談前或者在面談中有波動(dòng)嗎？睡眠-覺醒周期的改變：患者有睡眠-覺醒周期紊亂的證據(jù)嗎？,譫妄的診斷,針對(duì)以上11個(gè)問題，醫(yī)生對(duì)病人進(jìn)行觀察和提問，每項(xiàng)分4個(gè)等級(jí)打分：不存在—1分；輕度存在—2分；中度存在—3分；嚴(yán)重存在—4分。

20、 數(shù)據(jù)為一個(gè)醫(yī)生對(duì)96名測(cè)試人員的觀察和提問，并通過計(jì)分方式記錄下來的直觀診斷。診斷標(biāo)準(zhǔn)為：22分以上可診斷為譫妄，在量表診斷一列中記為Y（否則記為N）。這樣的標(biāo)準(zhǔn)是否合理？,譫妄的診斷,譫妄的診斷,實(shí)際上已經(jīng)知道，前48個(gè)數(shù)據(jù)來自臨床診斷的病人，后48個(gè)數(shù)據(jù)來自正常人。可以看出，量表診斷一共出了10例誤診病例，占測(cè)試人員的10.4%，這是一個(gè)比較高的錯(cuò)誤率?，F(xiàn)在有神經(jīng)網(wǎng)絡(luò)解決這個(gè)問題。該如果解決？,譫妄的診斷,思路,

21、1. 將表中1~40號(hào)數(shù)據(jù)和59~96號(hào)數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)，41~58號(hào)數(shù)據(jù)作為檢驗(yàn)數(shù)據(jù)。2. 選用較為簡單的2層且隱含層有4個(gè)神經(jīng)元的BP算法神經(jīng)網(wǎng)絡(luò)。,在Matlab中的實(shí)現(xiàn),newff 創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，其調(diào)用格式為：,net=newffnet=newff(PR,[S1 S2 …SN1],{TF1 TF2…TFN1},BTF,BLF,PF),其中，,net=newff ：用于在對(duì)話框中創(chuàng)建一個(gè)BP網(wǎng)絡(luò)PR ：

22、由每組輸入(共有R組輸入)元素的最大值和最小值組成的R×2維的矩陣；Si ：第i層神經(jīng)元的個(gè)數(shù)，共計(jì)N1層TFi：第i層的傳遞函數(shù)，默認(rèn)為“tansig”BTF：BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為“trainlm”;BLF：權(quán)值和閾值的BP學(xué)習(xí)算法，默認(rèn)為“l(fā)earngdm”PF：網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為“mse”,,train 用于對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。調(diào)用格式為：[net,tr,Y,E,Pf,Af]=train

23、(NET,P,T,Pi,Ai)其中，NET：待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)的輸入信號(hào)；T：網(wǎng)絡(luò)的目標(biāo)，默認(rèn)值為0；Pi：初始的輸入延遲，默認(rèn)為0；Ai：初始的層次延遲，默認(rèn)為0；net：函數(shù)返回值，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)；tr：函數(shù)返回值，訓(xùn)練記錄(包括步數(shù)和性能)；Y：函數(shù)返回值，神經(jīng)網(wǎng)絡(luò)的輸出信號(hào)；E：函數(shù)返回值，神經(jīng)網(wǎng)絡(luò)的誤差；Pf：函數(shù)返回值，最終輸入延遲；Af：函數(shù)返回值，最終層延遲。,常見參數(shù)：net.tra

24、inParam.show 顯示中間結(jié)果的周期（25）net.trainParam.lr 整批學(xué)習(xí)中的學(xué)習(xí)效率（0.01）net.trainParam.mc 勢(shì)能學(xué)習(xí)規(guī)則(traingdm)勢(shì)能率（0.9）net.trainParam.epochs 整批學(xué)習(xí)迭代次數(shù)上限（100）net.trainParam.goal 最小二乘目標(biāo)誤差設(shè)定值（0）,神經(jīng)網(wǎng)絡(luò)仿真函數(shù)sim 調(diào)用格式為：[Y,Pf,Af,E,perf]=sim(

25、net,P,Pi,Ai,T)其中，Y：函數(shù)返回值，網(wǎng)絡(luò)輸出；Pf：函數(shù)返回值，最終輸出延遲；Af：函數(shù)返回值，最終的層延遲；E：函數(shù)返回值，網(wǎng)絡(luò)誤差；perf：函數(shù)返回值，網(wǎng)絡(luò)性能；net：待仿真的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)輸入；Pi：初始輸入延遲，默認(rèn)為0；Ai：初始的層延遲，默認(rèn)為0；T：網(wǎng)絡(luò)目標(biāo)，默認(rèn)為0.,BP神經(jīng)網(wǎng)絡(luò)的改進(jìn),一、基本BP算法的缺陷二、隱含層的層數(shù)與節(jié)點(diǎn)數(shù)的改進(jìn)三、用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

26、,基本BP算法的缺陷,BP算法因其簡單、易行、計(jì)算量小、并行性強(qiáng)等優(yōu)點(diǎn)，目前是神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最成熟的訓(xùn)練算法之一。其算法的實(shí)質(zhì)是求解誤差函數(shù)的最小值問題，由于它采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)值，因而通常存在以下問題：學(xué)習(xí)效率低，收斂速度慢易陷入局部極小狀態(tài),隱含層的層數(shù)與節(jié)點(diǎn)數(shù)的改進(jìn),BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建必須注意隱含層神經(jīng)元數(shù)的選擇。如果隱含層神經(jīng)元數(shù)過少，BP神經(jīng)網(wǎng)絡(luò)難以建立復(fù)雜的映射關(guān)系，

27、網(wǎng)絡(luò)預(yù)測(cè)誤差較大，如果隱含層神經(jīng)元數(shù)過多，網(wǎng)絡(luò)學(xué)習(xí)的時(shí)間增加，并且可能出現(xiàn)過擬合的現(xiàn)象，就是把樣本中非規(guī)律性的內(nèi)容（如噪聲等）也學(xué)會(huì)記牢，從而出現(xiàn)訓(xùn)練樣本準(zhǔn)確，但是其他樣本預(yù)測(cè)誤差較大。,隱含層的層數(shù)與節(jié)點(diǎn)數(shù)的改進(jìn),那怎么確定隱含層的神經(jīng)元個(gè)數(shù)呢？現(xiàn)在還沒有什么成熟的定理能確定各層神經(jīng)元的神經(jīng)元個(gè)數(shù)和含有幾層網(wǎng)絡(luò)，大多數(shù)還是靠經(jīng)驗(yàn),隱含層的層數(shù)與節(jié)點(diǎn)數(shù)的改進(jìn),最佳隱含層神經(jīng)元數(shù)選擇可參考如下經(jīng)驗(yàn)公式：m為隱含層神經(jīng)元數(shù)，n為輸入