人工神經(jīng)網(wǎng)絡(luò)緒論

1、1,張　凱 副教授,武漢科技大學(xué) 計(jì)算機(jī)學(xué)院,人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network),2,第一章 神經(jīng)網(wǎng)絡(luò)概述,,1. 人工智能與神經(jīng)網(wǎng)絡(luò),,2. 人工神經(jīng)網(wǎng)絡(luò)的基本概念,,3. 人工神經(jīng)網(wǎng)絡(luò)研究的歷史,,4. 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域,人工智能,人工智能（Artificial Intelligence，簡(jiǎn)記為AI）最初在1956年被引入。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維

2、活動(dòng)，以解決和處理較復(fù)雜的問(wèn)題。,智能的概念,智能是個(gè)體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。人類個(gè)體的智能是一種綜合能力。研究人工智能的目的模擬人的智能，將人類從復(fù)雜的腦力勞動(dòng)中解脫出來(lái),4,,感覺(jué)器官,神經(jīng)系統(tǒng),認(rèn)知,效應(yīng)器官,外部世界,,,,,,,,決策,神經(jīng)系統(tǒng),思維器官,典型的 “智力生成過(guò)程”,,信息獲取,信息傳遞,信息認(rèn)知,信息執(zhí)行,外部世界,,,,,

3、,,,信息再生,信息傳遞,認(rèn)識(shí)論信息,知識(shí),智能策略,狹義智能,本體論信息,認(rèn)識(shí)論信息,智能策略,智能行為,人類智力的信息本質(zhì),人工智能,7,1.感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力2.通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力3.理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力4.聯(lián)想、推理、判斷、決策的能力5.運(yùn)用語(yǔ)言進(jìn)行抽象、概括的能力6.發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力7.實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力8.預(yù)測(cè)、洞察事物發(fā)

4、展變化的能力,人工神經(jīng)網(wǎng)絡(luò)的提出,智能可以包含8個(gè)方面感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力感知是智能的基礎(chǔ)——最基本的能力 通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力這是人類在世界中能夠不斷發(fā)展的最基本能力。理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑欤苿?dòng)社會(huì)不斷發(fā)展的基本能力。,2024/3/21,9,人工神經(jīng)網(wǎng)絡(luò)的提出,聯(lián)想、推理、判斷、決策語(yǔ)言的能力這是智能的高

5、級(jí)形式的又一方面。預(yù)測(cè)和認(rèn)識(shí)“主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。運(yùn)用進(jìn)行抽象、概括的能力上述這5種能力，被認(rèn)為是人類智能最為基本的能力,2024/3/21,10,人工神經(jīng)網(wǎng)絡(luò)的提出,作為5種能力綜合表現(xiàn)形式的3種能力發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測(cè)、洞察事物發(fā)展、變化的能力,人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為,1. 物理結(jié)構(gòu)：人工神經(jīng)元將模

6、擬生物神經(jīng)元的功能2. 計(jì)算模擬 ：人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過(guò)連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理3.存儲(chǔ)與操作：人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過(guò)神經(jīng)元的連接強(qiáng)度來(lái)實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類比、推廣提供有力的支持4. 訓(xùn)練：同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過(guò)程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí),人工智能,生物神經(jīng)元及其網(wǎng)絡(luò),生物神經(jīng)元

7、及其網(wǎng)絡(luò),生物神經(jīng)元及其網(wǎng)絡(luò),人工神經(jīng)元及其網(wǎng)絡(luò),人工神經(jīng)元及其網(wǎng)絡(luò),2024/3/21,17,人工神經(jīng)網(wǎng)絡(luò)的概念,定義(1) Hecht—Nielsen（1988年）,人工神經(jīng)網(wǎng)絡(luò)的概念,人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（PE—Processing Element）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)

8、的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。,人工神經(jīng)網(wǎng)絡(luò)的概念,處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說(shuō)，它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。,2024/3/21,20,人工神經(jīng)網(wǎng)絡(luò)的概念,強(qiáng)調(diào)：① 并行、分布處理結(jié)構(gòu)；② 一個(gè)處理單元的輸出可以被任意分枝，且

9、 大小不變；③ 輸出信號(hào)可以是任意的數(shù)學(xué)模型；④ 處理單元完全的局部操作,人工神經(jīng)網(wǎng)絡(luò)的概念,定義(2) Rumellhart，McClelland，Hinton,人工神經(jīng)網(wǎng)絡(luò)的概念,1）  一組處理單元（PE或AN）；2）  處理單元的激活狀態(tài)（ai）；3）  每個(gè)處理單元的輸出函數(shù)（fi）；4）  處理單元之間的聯(lián)接模式；5）  傳遞規(guī)則（∑wijoi）；6）&#

10、160; 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來(lái)產(chǎn)生激 活值的激活規(guī)則（Fi）；7）  通過(guò)經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則；8）  系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。,2024/3/21,23,人工神經(jīng)網(wǎng)絡(luò)的概念,Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過(guò)改變權(quán)大小來(lái)存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。,什么是神經(jīng)網(wǎng)絡(luò),由多個(gè)非常簡(jiǎn)單的處理單元彼

11、此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及其各單元的處理方式是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng),24,神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)：(1)大規(guī)模并行分布式結(jié)構(gòu)(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來(lái)的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對(duì)不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出,25,神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn),

12、非線性 人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個(gè)由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的輸入輸出映射 每個(gè)樣本由一個(gè)惟一的輸入信號(hào)和相應(yīng)期望響應(yīng)組成。從一個(gè)訓(xùn)練集中隨機(jī)選取一個(gè)樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號(hào)以適當(dāng)?shù)慕y(tǒng)計(jì)準(zhǔn)則產(chǎn)生的實(shí)際響應(yīng)之間的偏差。,神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力,適應(yīng)性　　神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力。VLSI(超大規(guī)模集

13、成)實(shí)現(xiàn)　　神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于VLSI技術(shù)實(shí)現(xiàn)。神經(jīng)生物類比　　神經(jīng)網(wǎng)絡(luò)是由對(duì)人腦的類比引發(fā)的，可以用神經(jīng)生物學(xué)來(lái)作為解決復(fù)雜問(wèn)題的新思路。,神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力,神經(jīng)網(wǎng)絡(luò)的分類,從結(jié)構(gòu)分類 前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network) 反饋神經(jīng)網(wǎng)絡(luò)(Feedback Neural Network)從學(xué)習(xí)方式分類 有教師學(xué)

14、習(xí) 無(wú)教師學(xué)習(xí),28,,,有教師學(xué)習(xí),事先有一批正確的輸入輸出數(shù)據(jù)對(duì)，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為誤差修正算法。典型的有誤差反向傳播(Back Propagation, 簡(jiǎn)寫為BP)算法。,29,無(wú)教師學(xué)習(xí),自組織學(xué)習(xí)：使網(wǎng)絡(luò)具有某

15、種“記憶”能力，以至形成“條件反射”。當(dāng)曾經(jīng)學(xué)習(xí)過(guò)的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。如自組織映射(Self Organization Mapping, 簡(jiǎn)寫為SOM)算法。無(wú)監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)：將處理單元?jiǎng)澐譃閹讉€(gè)競(jìng)爭(zhēng)塊。在不同的塊之間有刺激連接，而同一塊的不同節(jié)點(diǎn)之間有抑制連接，從而當(dāng)外界對(duì)不同塊的一個(gè)單元施加刺激后，將激活不同塊中互聯(lián)最強(qiáng)的一組單元，得到對(duì)該刺激的一個(gè)整體回憶。,神經(jīng)網(wǎng)絡(luò)發(fā)展的四個(gè)時(shí)期啟蒙時(shí)期（18

16、90～1969）低潮時(shí)期（1969～1982）復(fù)興時(shí)期（1982～1986）高潮時(shí)期（1987～ ）,31,從19世紀(jì)末開(kāi)始神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)以及人工智能學(xué)之間的聯(lián)系。,人工神經(jīng)網(wǎng)絡(luò)的研究歷史,1890年，美國(guó)心理學(xué)家William James發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》(Principles of Psychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記

17、憶的基本原理做了開(kāi)創(chuàng)性研究。,32,啟蒙時(shí)期,33,啟蒙時(shí)期,1943，心理學(xué)家麥克洛奇(McCulloch)和數(shù)理邏輯學(xué)家皮茲(Pitts)從信息處理的角度出發(fā)，提出了形似神經(jīng)元的著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《Bulletin of Methematical Biophysics》，從此開(kāi)創(chuàng)了神經(jīng)科學(xué)理論的新時(shí)代。,啟蒙時(shí)期,這種單個(gè)神經(jīng)元模型功能較弱，但連接而成的網(wǎng)絡(luò)可以實(shí)現(xiàn)邏輯運(yùn)算，包括三種基本

18、運(yùn)算：邏輯乘法(又稱“與”運(yùn)算)、邏輯加法(又稱“或”運(yùn)算)和邏輯否定(又稱“非”運(yùn)算)。它開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ)。,2024/3/21,34,35,啟蒙時(shí)期,1949年，心理學(xué)家赫布（Hebb）在《行為構(gòu)成》（Organization of Behavior）一書中提出了連接權(quán)訓(xùn)練算法，即Hebb算法。,啟蒙時(shí)期,Hebb提出神經(jīng)元之間突觸聯(lián)系強(qiáng)度可變的假設(shè)。他認(rèn)為學(xué)習(xí)過(guò)程是在突觸上

19、發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。根據(jù)這一假說(shuō)提出了改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。它對(duì)以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。Hebb的學(xué)習(xí)算法在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。,2024/3/21,36,啟蒙時(shí)期,1957年，羅森布蘭特(Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學(xué)習(xí)能力。,啟蒙時(shí)期,Rosenblatt提出的感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐。這是一

20、種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識(shí)，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機(jī)連接，這符合動(dòng)物學(xué)習(xí)的自然環(huán)境。這是第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。后來(lái)的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。,啟蒙時(shí)期,1962年，韋德羅（Widrow）和胡佛（Hoff）提出了自適應(yīng)線性單元（Adaline），這是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)。,Ted Hoff,Bernard Widrow,2024/3/2

21、1,40,啟蒙時(shí)期,Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級(jí)感知器(Perceptron)?？捎秒娮泳€路模擬。人們樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開(kāi)始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。,低潮時(shí)期,1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（Minsky）和佩珀特（Papert）發(fā)表了《感知器》一書，對(duì)感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)

22、的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。,低潮時(shí)期,60年代末，美國(guó)著名人工智能學(xué)者M(jìn)insky和Papart對(duì)Rosenblatt的工作進(jìn)行了深入的研究，寫了很有影響的《感知器》一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對(duì)于非線性或其他分類會(huì)遇到很大的困難。這時(shí)應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個(gè)有效的學(xué)習(xí)算法非常困難，Minsky斷言這種感知器無(wú)科學(xué)研究?jī)r(jià)值可言，包括多層的也沒(méi)有什么意義。,2

23、024/3/21,42,低潮時(shí)期,匯編語(yǔ)言中 xor eax, eax1   xor   1   =   0     因?yàn)?和1相同 0   xor   0   =   0     因?yàn)?和0相同 1   xor   0   = 

24、0; 1     因?yàn)?和0不同 0   xor   1   =   1     因?yàn)?和0不同初始化清 0。速度比賦值快。,低潮時(shí)期,一、交換兩個(gè)整數(shù)的值而不必用第三個(gè)參數(shù)二、奇偶判斷三、格雷碼(Gray code) 格雷碼(Gray code)是由貝爾實(shí)驗(yàn)室的Frank Gray在1940年提出，用于在PCM(Pusle C

25、ode Modulation)方法傳送訊號(hào)時(shí)防止出錯(cuò)。四、奇數(shù)分頻電路,低潮時(shí)期,這個(gè)結(jié)論對(duì)當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)研究無(wú)疑是一個(gè)沉重的打擊，客觀上對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。同時(shí)當(dāng)時(shí)的微電子技術(shù)也無(wú)法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費(fèi)支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。,2024/3/21,45,低潮時(shí)期,然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究，1969年Grossber

26、g等提出了自適應(yīng)共振理論模型。1972年Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展奠定了理論基礎(chǔ)。,2024/3/21,46,47,低潮時(shí)期,1969年，美國(guó)學(xué)者格諾斯博格（Grossberg）和卡普特爾（Carperter）提出了自適應(yīng)共振理論（ART）模型。,低潮時(shí)期,ART競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)見(jiàn)到一個(gè)人。如果我們認(rèn)識(shí)這個(gè)人，我們馬上就能知道認(rèn)識(shí)他！該怎么理解呢？其實(shí)，大腦已經(jīng)存在

27、了這個(gè)人的面孔的印象，看到這個(gè)人，我們的大腦有個(gè)搜索對(duì)比的過(guò)程或者說(shuō)是回憶的過(guò)程，如果能夠搜索到（回憶），那么恭喜你，你認(rèn)出這個(gè)人了…相反，如果這個(gè)人是陌生人，大腦慘了，搜索了半天，沒(méi)有搜到（回憶），罷工了，不認(rèn)識(shí)，還是陌生人，不要生氣，大腦沒(méi)有罷工，它已默默將這個(gè)人的面孔存儲(chǔ)起來(lái)了！如果你后續(xù)跟這個(gè)人還有更多聯(lián)系的話，比如再見(jiàn)面或者一起說(shuō)話、交往，大腦對(duì)這個(gè)人的記憶會(huì)逐漸加強(qiáng)！實(shí)際生活中，我們會(huì)有對(duì)某個(gè)人好像在哪兒見(jiàn)過(guò)面的感覺(jué)，其實(shí)這

28、種感覺(jué)正是大腦對(duì)這個(gè)人的記憶還不夠強(qiáng)烈所產(chǎn)生的！,49,低潮時(shí)期,1972年，芬蘭學(xué)者克豪南（Kohonen）提出了自組織映射（SOM）理論。,50,低潮時(shí)期,腦科學(xué)的研究表明，人類大腦皮層中的細(xì)胞群存在著廣泛地自組織現(xiàn)象。處于不同區(qū)域的神經(jīng)元具有不同的功能，它們具有不同特征的輸入信息模式，對(duì)不同感官輸入模式的輸入信號(hào)具有敏感性，從而形成大腦中各種不同的感知路徑。并且這種神經(jīng)元所具有的特性不是完全來(lái)自生物遺傳，而是很大程度上依賴于后天的

29、學(xué)習(xí)和訓(xùn)練。,低潮時(shí)期,自組織映射網(wǎng)絡(luò)(Self-Organizing Feature Maps，SOM)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。Kohonen認(rèn)為處于空間中不同區(qū)域的神經(jīng)元有不同的分工,當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí),將會(huì)分為不同的反應(yīng)區(qū)域,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)，采用無(wú)監(jiān)督學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛

30、地應(yīng)用于樣本分類、排序和樣本檢測(cè)方面。,低潮時(shí)期,1979年，福島邦彥（Fukushima）提出了認(rèn)知機(jī)（Necognitron）理論。,認(rèn)知機(jī)(Neocognitron)由Fukushima于1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過(guò)無(wú)導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對(duì)樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點(diǎn)是參數(shù)不易選擇。主要用于字符識(shí)別。,低潮時(shí)期,1977，神經(jīng)心理學(xué)家安德森（Anderson）提出了BSB(Brain-State-

31、in-a-Box)模型。,BSB模型是一種結(jié)點(diǎn)之間存在橫向連接和結(jié)點(diǎn)自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類器，并可存儲(chǔ)任何模擬向量模式。,低潮時(shí)期,1974，韋伯斯（Werbos）提出了BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。,,,,復(fù)興時(shí)期,1982年，美國(guó)加州工程學(xué)院物理學(xué)家Hopfield在美國(guó)科學(xué)院院刊上發(fā)表論文，提出了一個(gè)用于聯(lián)想記憶及優(yōu)化計(jì)算的新途徑—Hopfield模型, 。,復(fù)興時(shí)期,1982年，J. Hopfield提

32、出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來(lái)研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上,,復(fù)興時(shí)期,1984年對(duì)Hopfield模型進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。1985年Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決TSP組合優(yōu)化問(wèn)題。,復(fù)興時(shí)期,Hopfield模型

33、的動(dòng)作原理是：只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會(huì)一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。,58,復(fù)興時(shí)期,1984年，Hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元可以用運(yùn)算放大器來(lái)實(shí)現(xiàn)。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（TSP）問(wèn)題，引起世人震驚。這些成果

34、使對(duì)神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個(gè)新的興盛時(shí)期。,復(fù)興時(shí)期,1985年，UCSD的Sejnowsky、Rumelhart、Hinton等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。,復(fù)興時(shí)期,1986年，Rumelhart和McClelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（BP算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。,歷史總結(jié),神經(jīng)網(wǎng)絡(luò)的研究已有50多年的歷

35、史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。,2024/3/21,62,歷史總結(jié),上世紀(jì)40年代興奮與抑制型神經(jīng)元模型（Mcculloch，Pitts）神經(jīng)元連接強(qiáng)度的修改規(guī)則（Hebb）上世紀(jì)50年代、60年代感知機(jī)（Rosenblatt）和自適應(yīng)性元件（Widrow）上世紀(jì)70年代Perceptron一書出版（Minsky和Papert）研究處于低潮上世紀(jì)80年代后Rumelhart，Mcc

36、lelland以及Hopfield等取得突破性進(jìn)展,(1)開(kāi)發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。(2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法(3)希望在理論上尋找新的突破，建立新的專用/通用模型和算法。(4)進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。,新時(shí)期研究熱點(diǎn)問(wèn)題,理論方面 支持向量機(jī)和核方法(SVM and Kernel Methods)

37、 圖模型(Graphical Models) 統(tǒng)計(jì)學(xué)習(xí)方法(Statistical Learning Algorithm) 高斯過(guò)程（Gaussian Process) 泛化問(wèn)題和模型選擇(Generalization and Model Selection) 貝葉斯學(xué)習(xí)(Bayesian Learning) 遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks)等,65,新時(shí)期研究熱點(diǎn)

38、問(wèn)題,66,實(shí)際應(yīng)用 圖象處理(Image Processing) 人臉識(shí)別(Face Recognition) 語(yǔ)音信號(hào)處理(Voice Processing) 時(shí)間序列分析(Time Series Analysis) 機(jī)器人控制(Robot Control)等,新時(shí)期研究熱點(diǎn)問(wèn)題,國(guó)家自然科學(xué)基金資助,2006年有42項(xiàng)研究課題2005年有40項(xiàng)研究課題2004年有32項(xiàng)研究課題2003年有26項(xiàng)

39、研究課題2002年有26項(xiàng)研究課題2001年有18項(xiàng)研究課題2000年有20項(xiàng)研究課題1999年有22項(xiàng)研究課題,67,神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來(lái)越多的國(guó)內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個(gè)研究熱點(diǎn)和重點(diǎn)。,68,1988年，《Neural Networks》創(chuàng)刊1990年，《IEEE Transactions on Neural Networks》創(chuàng)刊,國(guó)際學(xué)術(shù)期刊,《IEEE Trans. on Neural

40、 Networks》,《Neural Networks》,主要內(nèi)容,第一章：引論 智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史、及其應(yīng)用領(lǐng)域。,主要內(nèi)容,第二章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)　　生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦?，存?chǔ)類型及映象。,主要內(nèi)容,第三章 感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問(wèn)題，而無(wú)法解決線形不可

41、分問(wèn)題，要想解決這一問(wèn)題，必須引入多層網(wǎng)；Hebb學(xué)習(xí)律，Delta規(guī)則，感知器的訓(xùn)練算法,主要內(nèi)容,第四章 線性神經(jīng)網(wǎng)絡(luò)和LMS算法　　自適應(yīng)線性神經(jīng)元ADALINE(AdaptiveLinear Neuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表,其學(xué)習(xí)算法稱之為 LMS (least mean squares最小均方差)算法或Widrow-Hoff學(xué)習(xí)規(guī)則。,主要內(nèi)容,第五章 BP神經(jīng)網(wǎng)絡(luò) BP（Ｅrror B

42、ack propagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過(guò)程；隱藏層權(quán)調(diào)整方法的直觀分析，BP訓(xùn)練算法中使用的Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論；BP網(wǎng)絡(luò)中的幾個(gè)重要問(wèn)題。,主要內(nèi)容,第六章 Hopfield網(wǎng)絡(luò) 離散型Hopfield網(wǎng)絡(luò)和連續(xù)性Hopfield網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計(jì)算；用能量函數(shù)評(píng)價(jià)網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問(wèn)題(T

43、SP問(wèn)題) 。,主要內(nèi)容,第七章 Boltzmann機(jī)網(wǎng)絡(luò) Boltzmann機(jī)將模擬退火算法引入Hopfield網(wǎng)絡(luò)，可以利用模擬退火的優(yōu)點(diǎn)跳出局部最優(yōu)，而達(dá)到全局最優(yōu)化。學(xué)習(xí)以統(tǒng)計(jì)學(xué)和概率方法研究隨機(jī)神經(jīng)網(wǎng)絡(luò)。,2024/3/21,78,主要內(nèi)容,第八章 自適應(yīng)共振理論 人腦的穩(wěn)定性與可塑性問(wèn)題；ART模型的總體結(jié)構(gòu)與分塊描述；比較層與識(shí)別層之間的兩個(gè)聯(lián)接矩陣的初始化，識(shí)別過(guò)程與比較過(guò)程，查找的實(shí)

44、現(xiàn)；訓(xùn)練討論。,神經(jīng)網(wǎng)絡(luò)的基本特征,神經(jīng)網(wǎng)絡(luò)的特征歸納為結(jié)構(gòu)特征和能力特征。1. 結(jié)構(gòu)特征——并行處理、分布式存儲(chǔ)與容錯(cuò)性2. 能力特征——自學(xué)習(xí)、自組織與自適應(yīng)性,79,2024/3/21,80,學(xué)習(xí)能力(Learning),人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為自相聯(lián)的網(wǎng)絡(luò)異相聯(lián)的網(wǎng)絡(luò)：它在接受樣本集合A時(shí)，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ堋２煌娜斯ど窠?jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí)/訓(xùn)練

45、算法,2024/3/21,81,基本特征的自動(dòng)提取,由于其運(yùn)算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實(shí)現(xiàn)模式的自動(dòng)分類。泛化（Generalization）能力與抽象能力,神經(jīng)網(wǎng)絡(luò)的基本功能,聯(lián)想記憶,82,由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激信息和輸入模式進(jìn)行聯(lián)想記憶的能力。這種能力是通過(guò)神經(jīng)元之間的協(xié)同結(jié)構(gòu)以及信息處理的集體行為實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)是通過(guò)其突觸權(quán)值和連接結(jié)

46、構(gòu)來(lái)表達(dá)信息的記憶。這種分布式存儲(chǔ)使得神經(jīng)網(wǎng)絡(luò)能存儲(chǔ)較多的復(fù)雜模式和恢復(fù)記憶的信息。,聯(lián)想記憶,自聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲(chǔ)（記憶）多種模式信息，當(dāng)輸入某個(gè)已存儲(chǔ)模式的部分信息或帶有噪聲干擾的信息時(shí)，網(wǎng)絡(luò)能通過(guò)動(dòng)態(tài)聯(lián)想過(guò)程回憶起該模式的全部信息。,神經(jīng)網(wǎng)絡(luò)的基本功能,異聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲(chǔ)了多個(gè)模式對(duì)，每一對(duì)模式均由兩部分組成，當(dāng)輸入某個(gè)模式對(duì)的一部分時(shí)，即使輸入信息是殘缺的或迭加了噪聲，網(wǎng)絡(luò)也能回憶起與其對(duì)應(yīng)的另一部分。,聯(lián)想記憶,

47、神經(jīng)網(wǎng)絡(luò)的基本功能,85,神經(jīng)網(wǎng)絡(luò)的基本功能,86,神經(jīng)網(wǎng)絡(luò)的基本功能,非線性映射,設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)系統(tǒng)輸入輸出樣本對(duì)進(jìn)行自動(dòng)學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。,87,神經(jīng)網(wǎng)絡(luò)的基本功能,非線性映射,88,神經(jīng)網(wǎng)絡(luò)的基本功能,分類與辨識(shí),對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。,89,神經(jīng)網(wǎng)絡(luò)的基本功能,優(yōu)化計(jì)算,指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的

48、目標(biāo)函數(shù)達(dá)到最小值。,90,神經(jīng)網(wǎng)絡(luò)的基本功能,知識(shí)處理,神經(jīng)網(wǎng)絡(luò)的知識(shí)抽取能力使其能夠在沒(méi)有任何先驗(yàn)知識(shí)的情況下自動(dòng)從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過(guò)自組織過(guò)程加強(qiáng)自身，構(gòu)建適合于表達(dá)所發(fā)現(xiàn)的規(guī)律。,信號(hào)處理 神經(jīng)網(wǎng)絡(luò)廣泛用于自適應(yīng)信號(hào)處理（自適應(yīng)濾波、時(shí)間序列預(yù)測(cè)等）和非線性信號(hào)處理（非線性濾波、非線性預(yù)測(cè)等）模式識(shí)別 模式識(shí)別涉及模式的預(yù)處理變換和將一種模式映射轉(zhuǎn)為其他類型的操作。神

49、經(jīng)網(wǎng)絡(luò)在這兩個(gè)方面都有許多成功的應(yīng)用，例如對(duì)圖象、語(yǔ)音的處理以及手寫字的識(shí)別等。,ANN應(yīng)用領(lǐng)域—信息領(lǐng)域,數(shù)據(jù)壓縮 神經(jīng)網(wǎng)絡(luò)可以對(duì)待傳送（或待存儲(chǔ)）的數(shù)據(jù)提取模式特征，只將該特征傳出（或存儲(chǔ)），接收（或使用）時(shí)再將其轉(zhuǎn)換為原始模式。,92,ANN應(yīng)用領(lǐng)域—信息領(lǐng)域,汽車工程 神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于擋位選擇系統(tǒng)、剎車智能控制系統(tǒng)以及柴油機(jī)燃燒系統(tǒng)中。軍事工程 神經(jīng)網(wǎng)絡(luò)已

50、應(yīng)用于飛行器的跟蹤、水下潛艇位置分析、密碼學(xué)等軍事領(lǐng)域?；瘜W(xué)工程 神經(jīng)網(wǎng)絡(luò)在制藥、生物化學(xué)、化學(xué)工程領(lǐng)域取得了不少成果。例如，譜分析、化學(xué)反應(yīng)生成物的鑒定等。,ANN應(yīng)用領(lǐng)域—工程領(lǐng)域,水利工程 水力發(fā)電過(guò)程辨識(shí)和控制、河川徑流預(yù)測(cè)、河流水質(zhì)分類、水資源規(guī)劃等實(shí)際問(wèn)題中都有神經(jīng)網(wǎng)絡(luò)的應(yīng)用。,94,ANN應(yīng)用領(lǐng)域—工程領(lǐng)域,檢測(cè)數(shù)據(jù)分析 利用神經(jīng)網(wǎng)絡(luò)多道腦電棘波檢測(cè)系統(tǒng)可

51、用來(lái)提供腦電棘波的實(shí)時(shí)檢測(cè)和癲癇的預(yù)報(bào)。生物活性研究 用神經(jīng)網(wǎng)絡(luò)對(duì)生物學(xué)檢測(cè)數(shù)據(jù)進(jìn)行分析，可提取致癌物的分子結(jié)構(gòu)特征，建立分子結(jié)構(gòu)和致癌活性之間的定量關(guān)系，并對(duì)分子致癌活性進(jìn)行預(yù)報(bào)。醫(yī)學(xué)專家系統(tǒng) 利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)功能、聯(lián)想記憶功能和分布式并行信息處理功能，來(lái)解決醫(yī)學(xué)專家系統(tǒng)中的知識(shí)表示、獲取和并行推理等問(wèn)題。,ANN應(yīng)用領(lǐng)域—醫(yī)學(xué)領(lǐng)域,信貸分析 神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)系統(tǒng)將公司

52、貸款申請(qǐng)表中的關(guān)鍵數(shù)據(jù)編碼為輸入向量，將實(shí)際的信用情況作為輸出評(píng)價(jià)，用數(shù)以千計(jì)的歷史數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，可給出準(zhǔn)確的評(píng)價(jià)結(jié)果。市場(chǎng)預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò)的市場(chǎng)預(yù)測(cè)已經(jīng)廣泛應(yīng)用于股票和期貨價(jià)格的預(yù)測(cè)中。,ANN應(yīng)用領(lǐng)域—經(jīng)濟(jì)學(xué)領(lǐng)域,自動(dòng)控制是上世紀(jì)中形成和發(fā)展起來(lái)的一門新興學(xué)科，它是一門涉及到諸如數(shù)學(xué)、計(jì)算機(jī)、信息、電工、電子等眾多領(lǐng)域的交叉學(xué)科。它的應(yīng)用和影響，已經(jīng)遍及很多的技術(shù)和社會(huì)科學(xué)領(lǐng)域。在自動(dòng)控制發(fā)展的過(guò)程中

53、，計(jì)算機(jī)科學(xué)一直對(duì)它產(chǎn)生著巨大的影響。隨著科學(xué)技術(shù)的發(fā)展，對(duì)控制系統(tǒng)智能化的要求也越來(lái)越高。,97,人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制,神經(jīng)網(wǎng)絡(luò)的應(yīng)用已經(jīng)滲透到自動(dòng)化控制領(lǐng)域的各個(gè)方面，包括系統(tǒng)辨識(shí)、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯(cuò)控制等。系統(tǒng)辨識(shí) 傳統(tǒng)的辨識(shí)方法，對(duì)于一般的非線性系統(tǒng)的辨識(shí)是很困難的，而神經(jīng)網(wǎng)絡(luò)卻為此提供了一個(gè)有力的工具。與傳統(tǒng)的基于算法的辨識(shí)方法相比，神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)具有如下特點(diǎn)：

54、(1) 由于神經(jīng)網(wǎng)絡(luò)可以任意精度逼近非線性函數(shù)，故它可以為非線性系統(tǒng)的辨識(shí)提供一個(gè)通用的模式,人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制,(2)神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)是非算法式的，神經(jīng)網(wǎng)絡(luò)本身就是辨識(shí)模型，其可調(diào)參數(shù)反映在網(wǎng)絡(luò)內(nèi)部的連接權(quán)上。不需要建立以實(shí)際系統(tǒng)數(shù)學(xué)模型為基礎(chǔ)的辨識(shí)格式，故可以省去辨識(shí)前對(duì)系統(tǒng)建模這一步驟。 (3)神經(jīng)網(wǎng)絡(luò)作為實(shí)際系統(tǒng)的辨識(shí)模型，實(shí)際上也是系統(tǒng)的一個(gè)物理實(shí)現(xiàn)，可應(yīng)用于在線控制。,99,人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制,神經(jīng)控制器

55、 控制器在實(shí)施控制系統(tǒng)中起著大腦的作用神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的等智能特點(diǎn)，非常適合做控制器。對(duì)于復(fù)雜的非線性系統(tǒng)，神經(jīng)控制器所能達(dá)到的控制效果往往明顯好于常規(guī)控制器。故障診斷與容錯(cuò)控制 神經(jīng)網(wǎng)絡(luò)故障診斷與容錯(cuò)控制有兩種途徑：一種是在傳統(tǒng)的方法中使用神經(jīng)網(wǎng)絡(luò)；另一種是用神經(jīng)網(wǎng)絡(luò)直接構(gòu)成具有容錯(cuò)能力的控制器。,人工神經(jīng)網(wǎng)絡(luò)與自動(dòng)控制,《機(jī)器學(xué)習(xí)》T. M. Mitchell,駕駛汽車的人工神經(jīng)網(wǎng)

56、絡(luò),人臉識(shí)別的人工神經(jīng)網(wǎng)絡(luò),手寫數(shù)字識(shí)別的人工神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問(wèn)題在逼近非線性函數(shù)問(wèn)題上，神經(jīng)網(wǎng)絡(luò)的現(xiàn)有理論只解決了存在性問(wèn)題神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度一般比較慢，為滿足實(shí)時(shí)控制的需要，必須予以解決對(duì)于控制器和辨識(shí)器，如何選擇合適的神經(jīng)網(wǎng)絡(luò)模型與確定的結(jié)構(gòu)，尚無(wú)理論指導(dǎo),難點(diǎn)問(wèn)題,105,參考書目,參考書目,107,參考書目,Simon Haykin著, 葉世偉, 史忠植譯. 神經(jīng)網(wǎng)絡(luò)原理. 機(jī)械工業(yè)出版社, 2004

57、George F. Luger著,史忠植等譯. 人工智能——復(fù)雜問(wèn)題求解的結(jié)構(gòu)和策略. 機(jī)械工業(yè)出版社, 中信出版社蔣宗禮. 人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論. 高等教育出版社，2001胡守仁，余少博，戴葵. 神經(jīng)網(wǎng)絡(luò)導(dǎo)論. 國(guó)防科技大學(xué)出版社，1993韓力群. 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用. 化學(xué)工業(yè)出版社，2002王旭，王宏，王文輝. 人工神經(jīng)元網(wǎng)絡(luò)原理與應(yīng)用. 東北大學(xué)出版社，2000徐麗娜. 神經(jīng)網(wǎng)絡(luò)控制. 哈爾濱工業(yè)大學(xué)出版社，1

58、999閻平凡，張長(zhǎng)水. 人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算. 清華大學(xué)出版社，,著名學(xué)者,108,Prof. Michael I. Jordan美國(guó)加州大學(xué)伯克利分校 獲加州大學(xué)博士學(xué)位研究方向: 圖模型、變分方法、機(jī)器學(xué)習(xí)等。曾在麻省理工學(xué)院工作11年。已發(fā)表200多篇科技論文。國(guó)際上許多神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方面的專家都曾師從Jordan教授，包括香港中文大學(xué)的徐雷教授。,著名學(xué)者,109,Prof. Bernhard Schol

59、kopf德國(guó)Max Planck生物控制論研究院1997年獲柏林科技大學(xué)博士學(xué)位研究方向: 機(jī)器學(xué)習(xí)、感知器、支持向量機(jī)和核方法。Scholkopf教授是國(guó)際著名雜志Journal of Machine Learning Research、IEEE Trans. On Pattern Analysis and Machine Intelligence, 和International Journal of Computer V

60、ision編輯委員會(huì)成員。,著名學(xué)者,110,Prof. Lawrence Saul加州大學(xué)圣地牙哥分校1994年獲麻省理工學(xué)院博士學(xué)位研究方向：機(jī)器學(xué)習(xí)、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、語(yǔ)音處理等。Saul教授的高維數(shù)據(jù)的分析方法和可視化、非線性維數(shù)化簡(jiǎn)已被應(yīng)用于很多實(shí)際科學(xué)和工程領(lǐng)域。他發(fā)表文章的引用率已經(jīng)進(jìn)入計(jì)算機(jī)科學(xué)的前1%，另外他也是著名國(guó)際期刊Journal of Machine Learning Research編委會(huì)成員

61、和發(fā)起人之一。,著名學(xué)者,111,Prof. Yoshua Bengio加拿大蒙特利爾大學(xué)1991年獲加拿大麥基爾大學(xué)博士學(xué)位研究方向: 多層感知機(jī)、核方法、遞歸神經(jīng)網(wǎng)絡(luò)等Bengio教授是IEEE Transactions on Neural Networks、Journal of Machine Learning、Neural Computing Surveys的編委。值得一提的是Bengio教授在1994年的一篇著名文

62、章中逆轉(zhuǎn)了遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的研究方向，極大地影響了該網(wǎng)絡(luò)的研究。,著名學(xué)者,112,Prof. Frank L. Lewis美國(guó)德克薩斯大學(xué)獲美國(guó)喬治亞技術(shù)學(xué)院博士學(xué)位研究方向: 反饋系統(tǒng)控制、神經(jīng)網(wǎng)絡(luò)和模糊智能控制等現(xiàn)任德克薩斯大學(xué)自動(dòng)化與機(jī)器人研究院副院長(zhǎng)、IEEE Fellow、International Journal of Control、Neural Computing and Applications等

63、期刊的編委。他共獲得超過(guò)6百萬(wàn)美元的資助，發(fā)表174篇雜志論文，285篇會(huì)議論文，12本專著。,著名學(xué)者,113,Christopher M. Bishop微軟劍橋研究院研究方向: 模式識(shí)別，基于推理 的概率方法和學(xué)習(xí)Bishop教授是美國(guó)電子學(xué)會(huì)關(guān)于應(yīng)用神經(jīng)計(jì)算中心的帶頭人，是劍橋大學(xué)達(dá)爾文學(xué)院的會(huì)士(Fellow)，不列顛計(jì)算機(jī)協(xié)會(huì)的會(huì)士(Fellow)和英國(guó)計(jì)算研究委員會(huì)成員。200

64、4年當(dāng)選英國(guó)皇家工程院會(huì)士(Fellow)。1995年曾出版著名專著《Neural Networks for Pattern Recognition》。,著名學(xué)者,114,Prof. Lei Xu (徐雷)香港中文大學(xué)研究方向: 模式識(shí)別、神經(jīng)網(wǎng)絡(luò)、 統(tǒng)計(jì)學(xué)習(xí)等現(xiàn)任香港中文大學(xué)講座教授、IEEE Fellow、國(guó)際模式識(shí)別學(xué)會(huì)Fellow、歐洲科學(xué)院院士。已發(fā)表的學(xué)術(shù)論文被引用總量逾130

65、0次，最大單篇被引用量達(dá)255(SCI)次。應(yīng)邀在國(guó)際主要學(xué)術(shù)大會(huì)做大會(huì)報(bào)告/特邀報(bào)告/學(xué)術(shù)講座40余次。曾任國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)理事、亞太地區(qū)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)主席、IEEE神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)計(jì)算金融學(xué)術(shù)委員會(huì)主任。,著名學(xué)者,115,劉德榮 教授伊利諾大學(xué)芝加哥分校1994年獲美國(guó)圣母大學(xué)博士學(xué)位研究方向: 非線性動(dòng)態(tài)系統(tǒng)、 遞歸神經(jīng)網(wǎng)絡(luò)等。劉教授是該校電機(jī)與計(jì)算機(jī)工程系和計(jì)算機(jī)科學(xué)系的終身正教授

66、。2005年，他因在非線性動(dòng)態(tài)系統(tǒng)和遞歸神經(jīng)網(wǎng)絡(luò)方面作出的貢獻(xiàn)而被選為IEEE Fellow。自1992年起, 共發(fā)表40多篇國(guó)際學(xué)術(shù)雜志論文、90多篇國(guó)際會(huì)議論文，合作出版五本學(xué)術(shù)專著；擔(dān)任多個(gè)國(guó)際期刊的編委。,著名學(xué)者,116,Prof. Jun Wang (王鈞)香港中文大學(xué)1991年 凱斯西儲(chǔ)大學(xué) 博士研究方向：遞歸神經(jīng)網(wǎng)絡(luò)和工程應(yīng)用現(xiàn)任香港中文大學(xué)自動(dòng)化與計(jì)算機(jī)輔助工程系計(jì)算智能實(shí)驗(yàn)室主任。已發(fā)表120多篇期刊論