人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟管理應(yīng)用

1、人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟管理應(yīng)用,The Application of ANN to Economics & Management,第一章 導(dǎo) 論,什么是人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）人腦結(jié)構(gòu)對ANN的啟示ANN 的特點人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史ANN在經(jīng)濟管理領(lǐng)域的應(yīng)用,什么是Artificial Neural Network,Neural networks are comp

2、osed of simple elements operating in parallel. These elements are inspired by biological nervous systems. As in nature, the network function is determined largely by the connections between elements. We can train a neur

3、al network to perform a particular function by adjusting the values of the connections (weights) between elements.模擬人腦，人工智能（AI）的基礎(chǔ)之一。,人腦結(jié)構(gòu)對ANN的啟示,How human brain works?,Stimuli,Preceptor,Effecter,,,,,人腦結(jié)構(gòu),人腦是由大量神經(jīng)細胞組成的復(fù)

4、雜網(wǎng)絡(luò)。,神經(jīng)細胞與神經(jīng)傳導(dǎo),人腦功能的基礎(chǔ)—神經(jīng)網(wǎng)絡(luò),人腦功能,Who？？？？？？,對人腦進行模擬的兩條道路,黑箱方法－功能模擬－電子計算機白箱方法－結(jié)構(gòu)模擬－智能機器（ANN）電子計算機（或稱為Von Neumann 計算機）以邏輯代數(shù)為基本原理，模擬人的邏輯思維。人工神經(jīng)網(wǎng)絡(luò)試圖模擬人腦的結(jié)構(gòu)從而得到類似于人腦的功能。,人腦與電腦,共同點：獲取、傳遞、存儲、處理、輸出信息（知識）。不同點：電腦：程序性、串行工作方式、儲

5、用分離、易損（Robust）、精確性。人腦：單元結(jié)構(gòu)簡單、整體結(jié)構(gòu)復(fù)雜；并行處理；具有自主學(xué)習(xí)能力（環(huán)境可塑性）；聯(lián)想功能；遺忘功能；復(fù)雜決策；高冗余、自我恢復(fù)；非線性特征明顯。,ANN 的特點,ANN是AI（Artificial Intelligence）的一個分支。致力于從結(jié)構(gòu)上模仿人腦的功能。分為軟件模仿和硬件模仿。1、采用大規(guī)模分布式結(jié)構(gòu)，通過學(xué)習(xí)具有非線性輸入輸出影射能力。2、通過學(xué)習(xí)存儲知識，具有適應(yīng)性、容錯性及泛

6、化能力（舉一反三）。,ANN的基本工作原理,從環(huán)境樣本中學(xué)習(xí)，學(xué)習(xí)的結(jié)果存儲于連接之中（不可見），學(xué)習(xí)的過程叫做訓(xùn)練，訓(xùn)練成功的ANN可以用來解決特定的問題。學(xué)習(xí)的規(guī)則是ANN的核心，但學(xué)習(xí)規(guī)則與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)，以下是有監(jiān)督學(xué)習(xí)的一般工作原理。,ANN的軟件模擬—Matlab Toolbox,MATLAB® is a high-performance language for technical computing. The

7、 name MATLAB stands for matrix laboratory. Typical uses include ：Math and computation Algorithm developmentData acquisition Modeling, simulation, and prototyping Data analysis, exploration, and visualization Scien

8、tific and engineering graphics Application developmentincluding graphical user interface building,ANN的發(fā)展歷史,奠基時期早在十九世紀初就已經(jīng)有人關(guān)注人類神經(jīng)活動的復(fù)制。1943年McCulloch&Pitts發(fā)表“神經(jīng)活動中蘊涵的思想與邏輯活動”成為這一領(lǐng)域的奠基之作，其來源是神經(jīng)生理學(xué)。1946年ENIAC建成，194

9、8年Wiener完成Cybernetics，開創(chuàng)了電子計算機的時代，從不同的方面做出了貢獻。1949年，Donald Hebb提出了著名的Hebb學(xué)習(xí)規(guī)則。,Hebb學(xué)習(xí)規(guī)則,“如果相互連接的兩個神經(jīng)元都興奮，則二者的聯(lián)系將加強”——“The Organization of Behavior”Hebb是一個心理學(xué)家，他的理論一開始并沒有受到工程界的重視。（Why？）但是稍后Rochester等人的研究證明，在引入控制論和信息論（S

10、hannon）的相關(guān)約束后，Hebb規(guī)則是一貫而通用的，并構(gòu)成了其他學(xué)習(xí)規(guī)則的基礎(chǔ)。,ANN的發(fā)展歷史,第一次研究熱潮——1950‘s1957年，Rosenblatt發(fā)明感知機和ADALineWidrow&Hoff 提出著名的最小均方（LMS）算法。但出現(xiàn)了惡炒問題——人工大腦就要問世了！被發(fā)現(xiàn)無法解決一個簡單的XOR問題。遭到Minsky和Papert等人的全面否定。,沉默期：要命的XOR問題,XOR（0，0）＝0

11、XOR（1，1）＝0XOR（0，1）＝1XOR（1，0）＝1,,,,,(0,0),(0,1),(1,1),(1,0),,,復(fù)興期：DARPA,1980年，Grossberg提出解決競爭學(xué)習(xí)問題的自適應(yīng)共振理論。1982年，Hopfield用能量函數(shù)構(gòu)造了一種遞歸網(wǎng)絡(luò)計算方法——BP網(wǎng)等常用ANN的直接基礎(chǔ)。物質(zhì)基礎(chǔ)：傳統(tǒng)計算機計算能力的飛速發(fā)展為他的對手ＡＮＮ提供了理想的平臺。先進制造工藝使得制造專屬于ANN的硬件成為可能。

12、現(xiàn)實世界對復(fù)雜信號處理的強烈需求——美國國防部的DARPA——聲納探測系統(tǒng)。,當前ANN在經(jīng)濟管理領(lǐng)域的應(yīng)用,復(fù)雜函數(shù)關(guān)系分析與逼近－－隱含數(shù)學(xué)模型預(yù)測決策支持系統(tǒng)（神經(jīng)專家系統(tǒng)）因素（模式）分類與識別優(yōu)化問題知識工程總之，我們把ANN當做一種方法。,第二章 ANN的基本原理,ANN表達的四個基本要素：1、神經(jīng)元模型結(jié)構(gòu)2、激活函數(shù)類型3、網(wǎng)絡(luò)模型結(jié)構(gòu)4、學(xué)習(xí)算法,Simple Neuron,A neuron

13、with a single scalar input and （no） bias,神經(jīng)元模型結(jié)構(gòu),A neuron with a single R-element input vector,表達為有向圖的神經(jīng)元模型,規(guī)則1：信號僅沿著定義好的箭頭方向在連接上流動。規(guī)則2：節(jié)點信號輸出等于進入節(jié)點信號的代數(shù)和規(guī)則3：節(jié)點信號沿每個外向連接向外傳遞并獨立于激活函數(shù)。,輸入信號向量,連接權(quán)重,誘導(dǎo)局部域,加法器,輸出,一個神經(jīng)元的狀態(tài)定義

14、為它的輸出信號或誘導(dǎo)局部域。,激活函數(shù)類型Transfer Function,閾值函數(shù)（階躍函數(shù)）Step,hardlim(n) = 1, if n >= 0; 0 otherwise.Hardlims(n) = 1, if n >= 0; -1 otherwise.,激活函數(shù)類型Transfer Function,線性函數(shù)linear transfer function,purelin(n) = n,激活函數(shù)類型T

15、ransfer Function,分段線性函數(shù)Saturating linear transfer function,satlin(n) = 0, if n <= 0; n, if 0 <= n <= 1; 1, if 1 <= nsatlins(n) = -1, if n <= -1; n, if -1 <= n <= 1; 1, if 1 <= n,激活函數(shù)類型Transfer F

16、unction,Sigmoid函數(shù)（S形曲線）,logsig(n) = 1 / (1 + exp(-n)) tansig(n) = 2/(1+exp(-2*n))-1This is mathematically equivalent to tanh(n)雙曲正切函數(shù),網(wǎng)絡(luò)模型結(jié)構(gòu)－單層前饋網(wǎng),,,,,,,,,,,,,源節(jié)點輸入層,神經(jīng)元輸出層,一個嚴格無圈的和前饋的網(wǎng)絡(luò)?！皢螌印笔侵干窠?jīng)元輸出層。源節(jié)點輸入層不計算在內(nèi)。,網(wǎng)絡(luò)模

17、型結(jié)構(gòu)－多層前饋網(wǎng),,,,,,,,,,,,,源節(jié)點輸入層,隱藏神經(jīng)元層,,,神經(jīng)元輸出層,一個完全連接網(wǎng)絡(luò)。理論上隱層可以有N個。隱層的存在可以使網(wǎng)絡(luò)具有很強的能力（如泛函逼近能力）隱層神經(jīng)元的學(xué)習(xí)算法是一個難點。應(yīng)用十分廣泛。（如BP網(wǎng)）,網(wǎng)絡(luò)模型結(jié)構(gòu)－遞歸網(wǎng)絡(luò),,,,,無隱層、無自反饋遞歸網(wǎng)絡(luò),延遲,遞歸網(wǎng)絡(luò)也可以是有隱層的。左圖為清晰起見沒有完全連接，實際上是否完全連接取決于設(shè)計者的目的。由于反饋環(huán)的存在，這種網(wǎng)絡(luò)

18、可以實現(xiàn)非線性動態(tài)行為。,讓數(shù)據(jù)說話——神經(jīng)網(wǎng)絡(luò)的知識表達,ANN的知識表達是內(nèi)嵌的。內(nèi)嵌的結(jié)果是神經(jīng)元之間的連接發(fā)生變化。整體性：單獨某個連接的變化也許并無意義。規(guī)則1：類似的輸入通常產(chǎn)生類似的表示規(guī)則2：不同類輸入給出差別很大的表示規(guī)則3：如果某特征很重要，則表達涉及大量的神經(jīng)元規(guī)則4：先驗信息和不變性可事先附加于網(wǎng)絡(luò)。,如何讓外部刺激產(chǎn)生知識？,神經(jīng)元之間連接權(quán)重的調(diào)整是表達知識的最基本方法。如何按照前述四個規(guī)則調(diào)