《神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)》ppt課件

1、第6.6節(jié) 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),王慶江計(jì)算機(jī)科學(xué)與技術(shù)系qjwang@ouc.edu.cn,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),摘自《Talking Nets: An Oral History of Neural Networks》封面,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),6.6.1 神經(jīng)網(wǎng)絡(luò)基礎(chǔ),公元前400年左右，柏拉圖和亞里士多德就曾對人類認(rèn)知、記憶、思維進(jìn)行過研究；19世紀(jì)末，出現(xiàn)了神經(jīng)元學(xué)說；美國生物學(xué)家W

2、. James在《Physiology》一書中提到，“人腦中兩個基本單元靠得較近時，一個單元的興奮會傳到另一個單元；20世紀(jì)40年代，神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)、神經(jīng)元的電生理過程等有了突破性進(jìn)展。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),人腦中神經(jīng)元（神經(jīng)細(xì)胞）的結(jié)構(gòu),Nucleus：核 Cell body：細(xì)胞體 Dentrite：樹突 Axon：軸突,2008-2009學(xué)年第1學(xué)期,

3、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)元之間的電信號傳遞,軸突后部裂出許多分枝，分枝末端有突觸，突觸與樹突連接；軸突中的信號經(jīng)突觸轉(zhuǎn)換為“阻止”或“激活”信號；當(dāng)神經(jīng)元的“凈輸入”超過閾值時，其沿軸突發(fā)出信號；改變突觸的效能，神經(jīng)元之間的影響隨之改變，學(xué)習(xí)就發(fā)生了。,突觸（神經(jīng)鍵）,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),生物神經(jīng)元的結(jié)構(gòu),摘自張仰森《人工智能原理與應(yīng)用》隨書課件,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),1943年，W.S

4、. McCulloch和W.A. Pitts合作提出了第一個人工神經(jīng)元模型（M-P模型）；,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),M-P神經(jīng)元模型,樹突,加和,細(xì)胞體,閾值,軸突,參考：http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network,突觸,2008-2009學(xué)年第1學(xué)期,神

5、經(jīng)網(wǎng)絡(luò)學(xué)習(xí),1949年，Donala U. Hebb在“The Organization of Behavior”一書中認(rèn)為學(xué)習(xí)的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強(qiáng)度隨著突觸前后神經(jīng)元的活動而變化；連接權(quán)的學(xué)習(xí)律正比于突觸前后兩個神經(jīng)元的活動狀態(tài)值的乘積；可假設(shè)權(quán)是對稱的，細(xì)胞的互連結(jié)構(gòu)是通過改變彼此的連接權(quán)創(chuàng)造出來的。,突觸連接強(qiáng)度的可變性是學(xué)習(xí)和記憶的基礎(chǔ),2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),Hebb規(guī)

6、則,這是神經(jīng)網(wǎng)絡(luò)的第1個學(xué)習(xí)算法；神經(jīng)元的輸出連接權(quán)值的調(diào)整公式,學(xué)習(xí)率,凈輸入,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),1957年，F(xiàn)rank Rosenblatt在M-P模型基礎(chǔ)上，定義了一個具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為“感知器”。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),設(shè)計(jì)一個神經(jīng)網(wǎng)絡(luò)模型，除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；還要給出學(xué)習(xí)算法。學(xué)習(xí)算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個參數(shù)。學(xué)

7、習(xí)算法通常是迭代算法，對應(yīng)神經(jīng)網(wǎng)絡(luò)的演變過程；算法收斂到一個穩(wěn)定狀態(tài)時，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接權(quán)值、閾值等）就基本不變了；這個過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),人工神經(jīng)網(wǎng)絡(luò)的兩個操作模式,訓(xùn)練模式（training mode）準(zhǔn)備大量的有教師指導(dǎo)的（或無教師指導(dǎo)的）的訓(xùn)練樣本（即實(shí)例），對ANN進(jìn)行訓(xùn)練，確定ANN的內(nèi)部參數(shù)（甚至結(jié)構(gòu)）。使用模式（using mode）輸入一個實(shí)際例

8、子，讓ANN分析并給出結(jié)果。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),“感知器”是怎么訓(xùn)練的呢？,假設(shè)每個樣本含 n 個屬性，用向量(x1, x2, …, xn)表示；若X 為樣本變量， X∈Rn；wij 是 xi 到神經(jīng)元 j 的連接權(quán)值， Wj 是神經(jīng)元 j 的輸入連接的權(quán)值向量，即Wj =(w1j , w2j , …, wnj )；先隨機(jī)設(shè)置{wij}和{θj }，θj 是神經(jīng)元 j 的閾值；不同神經(jīng)元的參數(shù)（包括連接

9、權(quán)值和閾值）的學(xué)習(xí)是相互獨(dú)立的，故只需給出一個神經(jīng)元的學(xué)習(xí)算法。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)元 j 的參數(shù)怎么學(xué)習(xí)呢？,樣本必須是有教師指導(dǎo)的，即預(yù)先知道其分類；輸入(x1, x2, …, xn)時，神經(jīng)元j的輸出應(yīng)為 dj 。對于離散感知器，yj 按下式計(jì)算。 則wij 的調(diào)整規(guī)則是 wij(t +1) = wij(t) + η(dj - yj) xi,η為調(diào)整步幅系數(shù)，η>0,200

10、8-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),“感知器”對線性可分問題具有分類能力若樣本空間為Rn，存在n-1維的超平面可將樣本分為兩類，則稱線性可分。,存在至少一組wij和θj ，使得對應(yīng)兩個子空間的神經(jīng)元輸出分別為0和1。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),例：連接強(qiáng)度W的學(xué)習(xí)過程（η=0.4）,驗(yàn)證： (0, 1, 0)T(1, -1, -1) = -1 (0, 1, 0)T(1, 1, -1) = 1,200

11、8-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),“感知器”無法解決線性不可分問題；1969年，Minsky和Papert指出了“感知器”的這種局限性，例如，“感知器”無法實(shí)現(xiàn)“異或”邏輯。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),設(shè)輸入向量X=(x1, x2)，神經(jīng)元j的輸出為：學(xué)習(xí)邏輯“與”時，有至少存在一組w1j 、w2j 和θ滿足上述方程組，即單結(jié)點(diǎn)感知器對2輸入的邏輯“與” 問題有分類能力。,2008-2009

12、學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),學(xué)習(xí)邏輯“異或”時，有不存在任何一組w1j 、w2j 和θ滿足上述方程組，即單結(jié)點(diǎn)感知器不能對2輸入的邏輯“異或” 問題求解。,,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),多層感知器,采用二層或多層感知器；只允許某一層的連接權(quán)值可調(diào)，因?yàn)闊o法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤差反向傳播（即BP）學(xué)習(xí)算法。多層感知器可解決單層感知器無法解決的某

13、些問題，例如，用二層感知器就可解決異或問題。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),70年代，集成電路使計(jì)算機(jī)快速發(fā)展；在“感知器”局限性的困擾下，機(jī)器學(xué)習(xí)的熱點(diǎn)由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號主義；70年代被認(rèn)為是ANN的研究低潮期，但仍有ANN的一些重要成果出現(xiàn)。72年，芬蘭T. Kohonen教授提出了無教師學(xué)習(xí)網(wǎng)絡(luò)SOM（Self-Organizing feature Map）;76年，美國Grossberg教授

14、提出了ART（Adaptive Resonnance Theory）。,,自組織競爭網(wǎng)絡(luò)模型,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),自組織競爭神經(jīng)網(wǎng)絡(luò)模型,生物神經(jīng)網(wǎng)絡(luò)中，有側(cè)抑制現(xiàn)象；一個神經(jīng)元興奮，通過突觸抑制相鄰神經(jīng)元；它越興奮，對周圍神經(jīng)元的抑制作用越強(qiáng)。抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競爭；起初，各神經(jīng)元都處于（不同程度）興奮狀態(tài)，最后“勝者為王”。自組織特征映射（SOM）和自適應(yīng)共振理論（ART）都屬于這類神經(jīng)網(wǎng)絡(luò)

15、模型。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),SOM的典型結(jié)構(gòu),2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),SOM可實(shí)現(xiàn)聚類分析聚類在沒有教師指導(dǎo)的情況下，自動尋找樣本的屬性關(guān)系，將相似的樣本劃歸為一類。分類已知各樣本的類別，在類別知識（即教師信號）的指導(dǎo)下，形成分類規(guī)則，將各樣本分到各自的類中。共同點(diǎn)：尋找樣本-類的映射函數(shù)。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),樣本相似度的測量,設(shè) X1 和 X2 是表

16、示兩個樣本的向量；歐式距離法余弦法（向量夾角法）,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),SOM中的競爭學(xué)習(xí)算法,對樣本 X 和各神經(jīng)元的連接權(quán)值向量 Wj 規(guī)一化尋找獲勝的神經(jīng)元,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),SOM中的競爭學(xué)習(xí)算法,網(wǎng)絡(luò)輸出與權(quán)值調(diào)整對Wj*(t +1)進(jìn)行歸一化如果α足夠小則退出；否則衰減α，轉(zhuǎn)①,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),1982年，美國物理學(xué)

17、家John J. Hopfield提出了一種全連接神經(jīng)網(wǎng)絡(luò)模型（即Hopfield模型）；這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫DHNN）；引入了“能量函數(shù)”概念，支持對神經(jīng)網(wǎng)絡(luò)運(yùn)行穩(wěn)定性進(jìn)行判定；成功求解旅行商問題（Traveling Salesman Problems）。1984年，他又提出了連續(xù)型Hopfield網(wǎng)絡(luò)（英縮寫CHNN） 。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),離散型Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型

18、,一般有wii=0，wij=wji,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),神經(jīng)元的輸出也稱神經(jīng)元的狀態(tài)；所有神經(jīng)元的狀態(tài)構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài) Y； Y = (y1, y2, …, yn)網(wǎng)絡(luò)輸入就是網(wǎng)絡(luò)狀態(tài)的初始值 Y(0)； Y(0)= (x1(0), x2(0), …, xn(0))由初始狀態(tài)，網(wǎng)絡(luò)開始演化。 yj(t+1) = f (netj) 這里，netj為神經(jīng)元 j 的凈輸入， f

19、 (·)為神經(jīng)元的特性函數(shù)（也稱作用、傳遞或轉(zhuǎn)移函數(shù)）。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),常見的特性函數(shù),閾值型,S狀(如sigmoid函數(shù)),分段線性(飽和線性),2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),對于DHNN，特性函數(shù) f 可以是閾值型也可以是分段線性型凈輸入netj 的計(jì)算,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),DHNN的兩種學(xué)習(xí)方式,串行方式（也稱異步方式）每次調(diào)整

20、，只有一個神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；神經(jīng)元狀態(tài)的調(diào)整次序可按某種規(guī)定次序進(jìn)行，也可隨機(jī)選定。并行方式（也稱同步方式）每次調(diào)整，各神經(jīng)元都按其凈輸入調(diào)整各自的狀態(tài)。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),DHNN可能收斂于某個穩(wěn)定狀態(tài)，也可能產(chǎn)生振蕩構(gòu)成極限環(huán)；在串行方式下，為使網(wǎng)絡(luò)收斂，W 應(yīng)為對稱陣；在并行方式下，為使網(wǎng)絡(luò)收斂，W 應(yīng)為非負(fù)定對稱陣；保證給定的樣本是網(wǎng)絡(luò)的吸引子，

21、且有一定的吸引域。,參考：朱大奇, 史慧. 人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用. 第3章. 科學(xué)出版社, 2006年3月第1版.,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)模型該模型可表示為下列的非線性微分方程組：ui 是神經(jīng)元i的膜電位，Ci 和 Ri 分別是輸入電容和電阻，Ii 是電路外的輸入電流，wij 是神經(jīng)元i 到神經(jīng)元j的連接強(qiáng)度，f(u) 是u的非線性函數(shù)。,這是一個N輸入、N輸出的有N組運(yùn)

22、算放大器的電路，每個運(yùn)放輸出有到各運(yùn)放輸入的反饋通路。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型,Vj 可對應(yīng)0至1之間的任意實(shí)數(shù),2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),Hopfield網(wǎng)絡(luò)是一種非線性的動力網(wǎng)絡(luò)；可通過反復(fù)的網(wǎng)絡(luò)動態(tài)迭代來求解問題，這是符號邏輯方法所不具有的特性；在求解某些問題時，其求解方法與人類的求解方法很相似；所求得的解可能不是最佳解，但其求解速度快。,

23、2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),1986年，MIT出版社（Cambridge）出版了J.L. Rumelhart和D.E. McClelland主編的“Parallel Distributed Processing: Exploration in the Microstructures of Cognition”一書；其中，詳細(xì)分析了多層前饋網(wǎng)絡(luò)中的誤差反向傳播（Error Back Propagation）算法，即BP

24、算法，它很好地解決了感知器局限性問題。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),前饋型神經(jīng)網(wǎng)絡(luò),2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),BP算法,正向傳播從輸入層到輸出層，逐層計(jì)算結(jié)點(diǎn)狀態(tài)；每一層結(jié)點(diǎn)的狀態(tài)只影響下一層結(jié)點(diǎn)的狀態(tài)。如輸出層沒有得到期望輸出（即有誤差），轉(zhuǎn)入反向傳播過程。反向傳播將誤差信號沿原路返回，通過修改各層的連接權(quán)值，使誤差信號遞減直到最小。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),BP算

25、法的流程圖,初始化,,,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),多層前饋網(wǎng)絡(luò)中的符號,xi：樣本的第 i 個屬性yi：輸出層神經(jīng)元 i 的輸出di：輸出層神經(jīng)元 i 的期望輸出wijk：第i層神經(jīng)元 j 到第 i +1層神經(jīng)元 k 的連接權(quán)值oij：第 i 層神經(jīng)元 j 的輸出θij：第 i 層神經(jīng)元 j 的閾值netij：第 i 層神經(jīng)元 j 的凈輸入Ni：第 i 層神經(jīng)元的數(shù)目,2008-2009學(xué)年第1學(xué)期,神

26、經(jīng)網(wǎng)絡(luò)學(xué)習(xí),BP算法中的前向計(jì)算,特征函數(shù)必須是有界連續(xù)可微的，如sigmoid函數(shù),2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),BP算法中的反向計(jì)算,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),BP算法中的反向計(jì)算（續(xù)）,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),BP學(xué)習(xí)算法的特點(diǎn),特性函數(shù)是連續(xù)可微的，通過學(xué)習(xí)可得到超曲面來劃分樣本空間；對于n層網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)后可得到n-1個超曲面，組成復(fù)合曲面，從而實(shí)現(xiàn)復(fù)雜的分類任務(wù)；

27、缺點(diǎn)：算法的收斂速度慢；依據(jù)梯度下降理論修改參數(shù)，可能出現(xiàn)局部極小問題。,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),其他神經(jīng)網(wǎng)絡(luò)模型,BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)CMAC小腦神經(jīng)網(wǎng)絡(luò)RBF徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)CPN對偶傳播神經(jīng)網(wǎng)絡(luò)量子神經(jīng)網(wǎng)絡(luò),參考：朱大奇，史慧. 人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用. 科學(xué)出版社，2006.3,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),小結(jié),人工神經(jīng)網(wǎng)絡(luò)是一種并行計(jì)算模型；不同于馮·諾依

28、曼計(jì)算機(jī)；但神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)還沒有出現(xiàn)，一般在馮氏計(jì)算機(jī)上進(jìn)行串行模擬。人工神經(jīng)網(wǎng)絡(luò)中知識是分布存儲的；蘊(yùn)含在連接權(quán)值、閾值、網(wǎng)絡(luò)結(jié)構(gòu)中；神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不僅是參數(shù)學(xué)習(xí)，還包括結(jié)構(gòu)學(xué)習(xí)。對人類而言，完全透明，無法理解；,教材P252第2行，“不透明”應(yīng)為“透明”,2008-2009學(xué)年第1學(xué)期,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),小結(jié)（續(xù)）,人工神經(jīng)網(wǎng)絡(luò)有較強(qiáng)的容錯性和魯棒性；對于樣本少量錯誤不敏感。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力有別于符號主義；在符號主義