2人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論第2章

1、2024/3/29,1,第2章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu),,2024/3/29,2,2.1 目的,第1章給出了生物神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的簡述。現(xiàn)在來介紹簡化的神經(jīng)元數(shù)學(xué)模型，并解釋這些人工神經(jīng)元如何相互連接形成各種網(wǎng)絡(luò)結(jié)構(gòu)。另外，本章還將通過幾個(gè)簡單的實(shí)例闡述這些網(wǎng)絡(luò)如何工作。 本書中將使用本章所引入的概念和符號。,2024/3/29,3,2.2 原理和實(shí)例,2.2.1 符號 神經(jīng)網(wǎng)絡(luò)是一門新興學(xué)科。迄今為止，人們還

2、并沒有對其建立嚴(yán)格的數(shù)學(xué)符號和結(jié)構(gòu)化表示。另外，神經(jīng)網(wǎng)絡(luò)方面的論文和書籍均是來自諸如工程、物理、心理學(xué)和數(shù)學(xué)等許多不同領(lǐng)域，作者都習(xí)慣使用本專業(yè)的特殊詞匯。于是，神經(jīng)網(wǎng)絡(luò)的許多文獻(xiàn)都難以閱讀，概念也較實(shí)際情況更為復(fù)雜。 在本書中，我們盡可能地使用標(biāo)準(zhǔn)符號。,2024/3/29,4,本書中的圖、數(shù)學(xué)公式以及解釋圖和數(shù)學(xué)公式的正文，將使用以下符號：標(biāo)量：小寫的斜體字母，如a,b,c。向量：小寫的黑正體字母，如a,b,c。矩陣：

3、大寫的黑正體字母，如 A,B,C。,2.2 原理和實(shí)例,2024/3/29,5,,2.2.2 神經(jīng)元模型1．單輸入神經(jīng)元概念：輸入、權(quán)值、偏置（值）、凈輸入、 傳輸函數(shù)、輸出. 一個(gè)規(guī)范的單輸入神經(jīng)元如圖2-1 所示。 圖2-1 單輸入神經(jīng)元表示,2024/3/29,6,●標(biāo)量輸入p乘上標(biāo)量權(quán)值w得到wp，再將其送人累加器?！窳硪粋€(gè)輸入1 乘上偏置值b，再將

4、其送人累 加器?！窭奂悠鬏敵鐾ǔ１环Q為凈輸入n，它被送人一個(gè)傳輸函數(shù)?！駛鬏敽瘮?shù)f中產(chǎn)生神經(jīng)元的標(biāo)量輸出a。 若將這個(gè)簡單模型和第1章所討論的生物神經(jīng)元相對照，則權(quán)值對應(yīng)于突觸的連接強(qiáng)度，細(xì)胞體對應(yīng)于累加器和傳輸函數(shù)，神經(jīng)元輸出代表軸突的信號。,2024/3/29,7,,神經(jīng)元輸出按下式計(jì)算：例如，若 ，則

5、 注意，w和b是神經(jīng)元的可調(diào)整標(biāo)量參數(shù)。設(shè)計(jì)者也可選擇特定的傳輸函數(shù)，在一些學(xué)習(xí)規(guī)則中調(diào)整參數(shù)w和b，以滿足特定的需要。正如將在下一節(jié)所討論的，依據(jù)不同目的可以選擇不同的傳輸函數(shù)。,2024/3/29,8,2．傳輸函數(shù) 圖2-1中的傳輸函數(shù)可以是累加器輸出（凈輸入）n的線性或非線性函數(shù)。可以用特定的傳輸函數(shù)滿足神經(jīng)元要解決的特定問題。 本書包括了各種不同的傳輸函數(shù)。下面將討論其中最常用的三種。,2024/3/29,

6、9,●硬極限傳輸函數(shù): 硬極限傳輸函數(shù)如圖2-2 中的左圖所示，當(dāng)函數(shù)的自變量小于0時(shí)，函數(shù)的輸出為0 ;當(dāng)函數(shù)的自變量大于或等于0時(shí)，函數(shù)的輸出為1 。用該函數(shù)可以把輸入分成兩類。 第三、四章將廣泛使用該傳輸函數(shù)。 硬極限傳輸函數(shù) 單輸入hardlim神經(jīng)元 圖2-2 硬極限傳輸函數(shù),2024/3/

7、29,10,圖2-2的右圖描述了使用硬極限傳輸函數(shù)的單輸入神經(jīng)元的輸入/輸出特征曲線。從中可看出權(quán)值和偏置值的影響。注意，兩圖之間的圖標(biāo)代表硬極限傳輸函數(shù)。在網(wǎng)絡(luò)圖中的這個(gè)圖標(biāo)表示使用了該傳輸函數(shù)。,,2024/3/29,11,●線性傳輸函數(shù)： 線性傳輸函數(shù)的輸出等于輸入（如圖2-3 所示）: 線性傳輸函數(shù) 單輸入purelin

8、神經(jīng)元圖2-3 線性傳輸函數(shù),,,,2024/3/29,12,●對數(shù)-S 形傳輸函數(shù)： 對數(shù)-S 形（logsig）傳輸函數(shù)如圖2-4 所示。 Log-Sigmoid 傳輸函數(shù) 單輸入logsig神經(jīng)元 圖2-4 對數(shù)-S形傳輸函數(shù)

9、,,,2024/3/29,13,該傳輸函數(shù)的輸入在（-∞，+∞）之間取值，輸出則在0到1 之間取值，其數(shù)學(xué)表達(dá)為： 本書所用的大多數(shù)傳輸函數(shù)在表2-1中都可以找到。當(dāng)然，你也可以定義不同于表2-1的傳輸函數(shù)。,,2024/3/29,14,,,,,,,,表2-1 傳輸函數(shù),2024/3/29,15,2024/3/29,16,2024/3/29,17,3．多輸入神經(jīng)元 概念：權(quán)值矩陣： 通常，一個(gè)

10、神經(jīng)元有不止一個(gè)輸入。具有R個(gè)輸入的神經(jīng)元如圖2-5 所示。 其輸入： 分別對應(yīng)權(quán)值矩陣W的元素：,2024/3/29,18,圖2-5 多輸入神經(jīng)元,2024/3/29,19,該神經(jīng)元有一個(gè)偏置值b，它與所有輸入的加權(quán)和累加，從而形成凈輸入 ：這個(gè)表達(dá)式也可以寫成矩陣形式：其中單個(gè)神經(jīng)元的權(quán)值矩陣W只有一列元素。神經(jīng)元的輸出可以寫成：,,,,2024/3/29,20,,概念：權(quán)值下標(biāo)

11、 權(quán)值矩陣元素下標(biāo)的第一個(gè)下標(biāo)表示權(quán)值相應(yīng)連接所指定的目標(biāo)神經(jīng)元編號，第二個(gè)下標(biāo)表示權(quán)值相應(yīng)連接的源神經(jīng)元編號。 據(jù)此， 的含義是：該權(quán)值表示從第二個(gè)源神經(jīng)元到第一個(gè)目標(biāo)神經(jīng)元的連接。,,2024/3/29,21,概念：簡化符號 本書將采用簡化符號來表示神經(jīng)元。 圖2-6 為利用這種符號所表示的多輸入神經(jīng)元。 圖2-6

12、具有R個(gè)輸入的神經(jīng)元的簡化符號,2024/3/29,22,例2.1 對于圖2-5所示的單個(gè)神經(jīng)元設(shè)輸入 ，分別采用hardlm, hardlims, purelin,satlin,logsig傳輸函數(shù)，求神經(jīng)元的輸出值。,,,2024/3/29,23,解：據(jù)（2.1）式有,,2024/3/29,24,2.2.3 網(wǎng)絡(luò)結(jié)構(gòu)1．神經(jīng)網(wǎng)絡(luò)的層 概念：層 圖2-7

13、是由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)。 注意，R個(gè)輸入中的每一個(gè)值均與每個(gè)神經(jīng)元相連。權(quán)值矩陣現(xiàn)有S行。 通常，每層的輸入個(gè)數(shù)并不等于該層中神經(jīng)元的數(shù)目（即R≠S）,2024/3/29,25,圖2-7 S個(gè)神經(jīng)元組成的層,2024/3/29,26,輸入向量通過如下權(quán)矩陣W進(jìn)入網(wǎng)絡(luò)：,(2.6),,2024/3/29,27,同樣，具有S個(gè)神經(jīng)元、R 個(gè)輸入的單層網(wǎng)絡(luò)能用簡化的符號表示為圖2-8 所示的形式。

14、 圖2-8 由S個(gè)神經(jīng)元組成的層的簡化表示,2024/3/29,28,2．多層神經(jīng)網(wǎng)絡(luò) 概念：層上標(biāo) 第一層的值矩陣可以寫為 ,第二層的權(quán)值矩陣可以寫為 ，等等。如圖2-9所示的三層網(wǎng)絡(luò)就用了這種標(biāo)記方法。,,,2024/3/29,29,,圖2-9 三層網(wǎng)絡(luò),2024/3/29,30,如圖所示，第一層有R個(gè)輸入、S1個(gè)神經(jīng)元，第二

15、層有S2個(gè)神經(jīng)元，等等。要注意不同層可以有不同數(shù)目的神經(jīng)元。 第一層和第二層的輸出分別是第二層和第三層的輸入。 據(jù)此，可以將第二層看作是一個(gè)單層網(wǎng)絡(luò)，它有R = S1個(gè)輸入，S ＝S2個(gè)神經(jīng)元，和一個(gè)S1?S2維的權(quán)值矩陣W2。第二層的輸入是a1 ，輸出是a2。 第三層與第二層情況相似。,2024/3/29,31,概念：輸出層、隱含層 如某層的輸出是網(wǎng)絡(luò)的輸出，則稱該層為輸

16、出層，而其他層叫隱含層。 上圖中的網(wǎng)絡(luò)有一個(gè)輸出層（第3 層）和兩個(gè)隱含層（第1 層和第2層）。前面討論的三層網(wǎng)絡(luò)同樣也可以用簡化的符號表示，如圖2-10 所示。,2024/3/29,32,,圖2-10 三層網(wǎng)絡(luò)的簡化表示,2024/3/29,33,多層網(wǎng)絡(luò)的功能要比單層網(wǎng)絡(luò)強(qiáng)大得多。比如，一個(gè)第一層具有S 形傳輸函數(shù)、第二層具有線性傳輸函數(shù)的網(wǎng)絡(luò)，經(jīng)過訓(xùn)練可對大多數(shù)函數(shù)達(dá)到任意精度的逼近,而單層網(wǎng)絡(luò)則不能做到這一點(diǎn)。

17、,2024/3/29,34,,決定一個(gè)網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)非常重要。網(wǎng)絡(luò)的輸入/輸出神經(jīng)元的數(shù)量是由問題描述定義的。如果有4 個(gè)外部變量作為網(wǎng)絡(luò)輸入，那么網(wǎng)絡(luò)就有4 個(gè)外部變量作為網(wǎng)絡(luò)輸入，那么網(wǎng)絡(luò)就有4個(gè)輸入。 同樣，如果網(wǎng)絡(luò)有7個(gè)輸出，那么網(wǎng)絡(luò)的輸出層就應(yīng)該有7 個(gè)神經(jīng)元。,2024/3/29,35,輸出信號所期望的特征有助于選擇輸出層的傳輸函數(shù)。如果一個(gè)輸出要么是-1 ，要么是1 ，那么該輸出神經(jīng)元就可以用對稱硬極限傳

18、輸函數(shù)。,2024/3/29,36,那么，如果網(wǎng)絡(luò)有兩層以上的神經(jīng)元時(shí)，又將如何確定各層的神經(jīng)元數(shù)目？其實(shí)問題的關(guān)鍵在于外部問題并沒有直接指明隱含層需要的神經(jīng)元數(shù)目。,2024/3/29,37,實(shí)際上，精確預(yù)測隱含層所需要的神經(jīng)元的數(shù)目至今仍然存在一些在理論上還沒有解決的問題。這個(gè)問題是一個(gè)十分活躍的研究領(lǐng)域。 大多數(shù)實(shí)際的神經(jīng)網(wǎng)絡(luò)僅僅只有2到3層神經(jīng)元，很少有4層或更多層。,2024/3/29,38,這里還應(yīng)該討論一下偏置值

19、的使用問題。是否使用偏置值是可以選擇的。偏置值給網(wǎng)絡(luò)提供了額外的變量，從而使得網(wǎng)絡(luò)具有更強(qiáng)的能力，事實(shí)也的確是如此。例如，如果沒有偏置值，當(dāng)網(wǎng)絡(luò)輸入為0時(shí)，一個(gè)神經(jīng)元的凈輸入總是為0。這是不希望出現(xiàn)的，可以通過用偏置值來避免。,2024/3/29,39,,例2．2 設(shè)

20、 試畫出其網(wǎng)絡(luò)結(jié)構(gòu)示意圖，并求網(wǎng)絡(luò)的輸出值。,,2024/3/29,40,,圖2-14 例2.2的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),2024/3/29,41,則,,2024/3/29,42,例2.3 一個(gè)兩層神經(jīng)網(wǎng)絡(luò)有4個(gè)輸入，3個(gè)輸出，輸出為0～1之間連續(xù)變化量。設(shè)第1層的神經(jīng)元數(shù)為2,傳輸函數(shù)為tansig,兩層神經(jīng)元都有閾值，畫出其網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖。,

21、2024/3/29,43,,解：根據(jù)題意，其網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖如圖2-15 圖2-15 例2.3 神經(jīng)網(wǎng)絡(luò)的向量模型,2024/3/29,44,例2.4 某個(gè)神經(jīng)網(wǎng)絡(luò)的部分屬性如下，據(jù)此畫出其網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意圖。net.numlnputs=1 %網(wǎng)絡(luò)有1個(gè)輸入向量net.inputs{l}.size=2 %2個(gè)輸入變量，即輸入變量為2維。net.numLayers=2

22、 %有2個(gè)網(wǎng)絡(luò)層net.layers{l}.dimensions = 3 %第l個(gè)網(wǎng) 絡(luò)層有3個(gè)神經(jīng)元,2024/3/29,45,net.layers{2｝.dimensions = 2 %第2個(gè)網(wǎng)絡(luò)層有2個(gè)神經(jīng)元net.biasConnect=[1;1] %每個(gè)網(wǎng)絡(luò)層的神經(jīng)元都有閾值net.inp

23、utConnect＝[1;0] %第1個(gè)網(wǎng)絡(luò)層（輸入層）與輸入向量連接， %第2 個(gè)網(wǎng)絡(luò)層與輸入向量無連接net.layerConnect=[0 0; 1 0] %只有第1個(gè)網(wǎng)絡(luò)層到第2個(gè)網(wǎng)絡(luò)層的連接， %無其他網(wǎng)絡(luò)層連接,2024/3/29,46,net.outputConnect＝[ 0 1 ] %第2個(gè)網(wǎng)絡(luò)層

24、為輸出層，net.outputs{l}.size=2 %有2個(gè)輸出變量，即輸出變量為2維。net.layers{l}.transferFcn=logsig %第一網(wǎng)絡(luò)層神經(jīng)元的傳輸函數(shù)為logsignet.layers{2}.transferFcn =logsig %第二網(wǎng)絡(luò)層神經(jīng)元的傳輸函數(shù)為logsig解:據(jù)此畫出網(wǎng)絡(luò)向量模型結(jié)構(gòu)示意

25、圖如圖2 -16 所示。,2024/3/29,47,,圖2-16 例2.4 神經(jīng)網(wǎng)絡(luò)的向量模型,2024/3/29,48,,2.3 小結(jié): 單輸入神經(jīng)元：,,2024/3/29,49,多輸入神經(jīng)元：,2024/3/29,50,,多輸入神經(jīng)元簡化圖示：,,2024/3/29,51,傳輸函數(shù)：,2024/3/29,52,,,,,,,,,2024/3/29,53,,,,,,,,,,,2024/3/29,54,神經(jīng)元層,,2024/3/29

26、,55,三層神經(jīng)元簡化圖示：,,,2024/3/29,56,,如何選取一種網(wǎng)絡(luò)結(jié)構(gòu)？ 應(yīng)用問題的描述從如下幾個(gè)方面非常有助于定義網(wǎng)絡(luò)的結(jié)構(gòu)： l）網(wǎng)絡(luò)的輸入個(gè)數(shù)＝應(yīng)用問題的輸入數(shù);2）輸出層神經(jīng)元的數(shù)目＝應(yīng)用問題的輸出數(shù)目;3）輸出層的傳輸函數(shù)選擇至少部分依賴于應(yīng)用問題的輸出描述。,2024/3/29,57,2.4 例題P2.1 一個(gè)單輸入神經(jīng)元的輸入是2.0 ，其權(quán)值是2.3 ，偏置值是-3。?。﹤?/p>

27、輸函數(shù)的凈輸入是多少？ⅱ）神經(jīng)元的輸出是多少？,2024/3/29,58,解：（?。﹤鬏敽瘮?shù)的網(wǎng)絡(luò)輸入由下式給出：（ⅱ）因?yàn)槲粗付▊鬏敽瘮?shù)，所以不能確定該神經(jīng)元的輸出。,,2024/3/29,59,P2.2 如果P2.1中的神經(jīng)元分別具有如下傳輸函數(shù)，請問其輸出值分別是多少？（?。┯矘O限函數(shù)（ⅱ）線性函數(shù)（ⅲ）對數(shù)-S形（logsig）函數(shù)解：（ⅰ）對硬極限傳輸函數(shù)有

28、 1（ii）對線性傳輸函數(shù)有 1.6,,,2024/3/29,60,(ⅲ）對對數(shù)-S 形傳輸函數(shù)有,,2024/3/29,61,,P2.3 給定一個(gè)具有如下參數(shù)的兩輸入神經(jīng)元： ,

29、試依據(jù)下列傳輸函數(shù)計(jì)算神經(jīng)元輸出：(1）對稱硬極限傳輸函數(shù)。(2）飽和線性傳輸函數(shù)。(3）雙曲正切S形（tansig）傳輸函數(shù)。,,2024/3/29,62,解：首先計(jì)算凈輸入n : -1.8現(xiàn)針對每種傳輸函數(shù)計(jì)算該神經(jīng)元的輸出。 -1

30、 0 -0.9468,2024/3/29,63,P2.4 現(xiàn)有一個(gè)單層神經(jīng)網(wǎng)絡(luò)，具有6個(gè)輸入和2個(gè)輸出。輸出被限制為0到1 之間的連續(xù)值。敘述該網(wǎng)絡(luò)的結(jié)構(gòu)，請說明：（1）需要多少個(gè)神經(jīng)元？（2）權(quán)值矩陣的維數(shù)是多少？（3）能夠采用什么傳輸函數(shù)？（4）需要采用偏置值嗎？,2024/3/29,64,解：該問題的求解結(jié)果如下：（1）需要兩個(gè)輸出神經(jīng)元，每個(gè)輸出一個(gè)。（

31、2）對應(yīng)2個(gè)神經(jīng)元和6個(gè)輸入，權(quán)值矩陣 應(yīng)有2行6列（乘積是一個(gè)二元向量）。（3）根據(jù)前面所討論的傳輸函數(shù)性質(zhì)，選用Logsig傳輸函數(shù)是最適合的。（4）題中未能給出足夠的條件以確定是否需要偏置值。,2024/3/29,65,,2.5 結(jié)束語 本章介紹了一種簡單的人工神經(jīng)元，并展示了如何通過不同的連接方式將一些神經(jīng)元組連接起來構(gòu)造出不同的神經(jīng)網(wǎng)絡(luò)。本章的一個(gè)主要目的是介紹一些基本表示方法。,2024/3/29,66,習(xí)題

32、E2.1 一個(gè)單輸入神經(jīng)元的輸入是2.0，其輸入連接的權(quán)值是1.3 ，偏置值是-4.0 。如果它的輸出分別為如下一些值，請根據(jù)表2-1回答它分別可以采用哪些傳輸函數(shù)？（1）-1.4（2）0（3）-1.0,2024/3/29,67,E2.2 假設(shè)一個(gè)具有偏置值的單輸入神經(jīng)元，現(xiàn)希望當(dāng)輸入值小于3 時(shí)，輸出值為-1,輸入值大于等于3 時(shí)，其輸出值為+1請問：（ⅰ）需要什么類型的傳輸函數(shù)？（ⅱ）偏置值應(yīng)該取多大？它與輸入連

33、接的權(quán)值相關(guān)嗎？如果相關(guān)，如何相關(guān)？（ⅲ）通過指定傳輸函數(shù)的名稱、描述偏置值和權(quán)值來概括該網(wǎng)絡(luò)。請畫出網(wǎng)絡(luò)的圖形。,2024/3/29,68,E2.3 給定一個(gè)具有如下權(quán)值矩陣和輸入向量的兩輸入神經(jīng)元： 若希望其輸出值為0.5。請問是否存在偏置值和傳輸函數(shù)的某種組合可以滿足這一要求？(1)若偏置值為0 ,表2.1 中有能夠?qū)崿F(xiàn)上述功能的傳輸函數(shù)嗎？(2)如使用線性傳輸函數(shù)，存

34、在能實(shí)現(xiàn)上述功能的偏置值嗎？如果有，說明偏置值是什么？,,,,,2024/3/29,69,(3)如使用對數(shù)-S 形傳輸函數(shù)，存在能實(shí)現(xiàn)上述功能的偏置值嗎？請說明偏置值是什么？(4)如果使用對稱硬極限傳輸函數(shù)，存在能夠?qū)崿F(xiàn)上述功能的偏置值嗎？如果有，請說明偏置值是什么？,2024/3/29,70,E2.4 一個(gè)兩層神經(jīng)網(wǎng)絡(luò)有4個(gè)輸入和6個(gè)輸出。輸出值為取值0到1之間的連續(xù)值。對于該網(wǎng)絡(luò)的結(jié)構(gòu)可以說些什么？特別是：（1）每一層中需要有