2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及其哲理

1、人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及其哲理人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及其哲理1人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景自古以來，關(guān)于人類智能本源的奧秘，一直吸引著無數(shù)哲學(xué)家和自然科學(xué)家的研究熱情。生物學(xué)家、神經(jīng)學(xué)家經(jīng)過長期不懈的努力，通過對人腦的觀察和認(rèn)識，認(rèn)為人腦的智能活動離不開腦的物質(zhì)基礎(chǔ)，包括它的實體結(jié)構(gòu)和其中所發(fā)生的各種生物、化學(xué)、電學(xué)作用，并因此建立了神經(jīng)元網(wǎng)絡(luò)理論和神經(jīng)系統(tǒng)結(jié)構(gòu)理論，而神經(jīng)元理論又是此后神經(jīng)傳導(dǎo)理論和大腦功能學(xué)說的基礎(chǔ)。在這些理

2、論基礎(chǔ)之上，科學(xué)家們認(rèn)為，可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能出發(fā)，研究人類智能活動和認(rèn)識現(xiàn)象。另一方面，19世紀(jì)之前，無論是以歐氏幾何和微積分為代表的經(jīng)典數(shù)學(xué)，還是以牛頓力學(xué)為代表的經(jīng)典物理學(xué)，從總體上說，這些經(jīng)典科學(xué)都是線性科學(xué)。然而，客觀世界是如此的紛繁復(fù)雜，非線性情況隨處可見，人腦神經(jīng)系統(tǒng)更是如此。復(fù)雜性和非線性是連接在一起的，因此，對非線性科學(xué)的研究也是我們認(rèn)識復(fù)雜系統(tǒng)的關(guān)鍵。為了更好地認(rèn)識客觀世界，我們必須對非線性科學(xué)進行研究

3、。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性的、與大腦智能相似的網(wǎng)絡(luò)模型，就這樣應(yīng)運而生了。所以，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)立不是偶然的，而是20世紀(jì)初科學(xué)技術(shù)充分發(fā)展的產(chǎn)物。2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究始于40年代初。半個世紀(jì)以來，經(jīng)歷了興起、高潮與蕭條、高潮及穩(wěn)步發(fā)展的遠為曲折的道路。1943年，心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家W.Pitts提出了M—P模型，這是第一個用數(shù)理語言描述腦的信息處理過程的模型，雖然神經(jīng)

4、元的功能比較弱，但它為以后的研究工作提供了依據(jù)。1949年，心理學(xué)家D.O.Hebb提出突觸聯(lián)系可變的假設(shè)，根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)律為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。1957年，計算機科學(xué)家Rosenblatt提出了著名的感知機模型，它的模型包含了現(xiàn)代計算機的一些原理，是第一個完整的人工神經(jīng)網(wǎng)絡(luò)，第一次把神經(jīng)網(wǎng)絡(luò)研究付諸工程實現(xiàn)。由于可應(yīng)用于模式識別，聯(lián)想記憶等方面，當(dāng)時有上百家實驗室投入此項研究，美國軍方甚至認(rèn)為神經(jīng)網(wǎng)絡(luò)工程應(yīng)當(dāng)比“原

5、子彈工程”更重要而給予巨額資助，并在聲納信號識別等領(lǐng)域取得一定成績。1960年，B.Windrow和E.Hoff提出了自適應(yīng)線性單元，它可用于自適應(yīng)濾波、預(yù)測和模式識別。至此，人工神經(jīng)網(wǎng)絡(luò)的研究工作進入了第一個高潮。1969年，美國著名人工智能學(xué)者M.Minsky和S.Papert編寫了影響很大的Perceptron一書，從理論上證明單層感知機的能力有限，諸如不能解決異或問題，而且他們推測多層網(wǎng)絡(luò)的感知機能力也不過如此，他們的分析恰似一

6、瓢冷水，很多學(xué)者感到前途渺茫而紛紛改行，原先參與研究的實驗室紛紛退出，在這之后近10年，神經(jīng)網(wǎng)絡(luò)研究進入了一個緩慢發(fā)展的蕭條期。這期間，芬蘭學(xué)者T.Kohonen提出了自組織映射理論，反映了大腦神經(jīng)細(xì)胞的自組織特性、記憶方式以及神經(jīng)細(xì)胞興奮刺激的規(guī)律；美國學(xué)者S.A.Grossberg的自適應(yīng)共振理論（ART）；日本學(xué)者K.Fukushima提出了認(rèn)知機模型；ShunIchimari則致力于神經(jīng)網(wǎng)絡(luò)有關(guān)數(shù)學(xué)理論的研究等，這些研究成果對以

7、后的神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了重要影響。美國生物物理學(xué)家J.J.Hopfield于1982年、1984年在美國科學(xué)院院刊發(fā)表的兩篇文章，有力地推動了神經(jīng)網(wǎng)絡(luò)的研究，引起了研究神經(jīng)網(wǎng)絡(luò)的又一次熱潮。1982年，他提出了一個新的神經(jīng)網(wǎng)絡(luò)模型——hopfield網(wǎng)絡(luò)模型。他在這種網(wǎng)絡(luò)模型的研究中，首次引入了網(wǎng)絡(luò)能量函數(shù)的概念，并給出了網(wǎng)絡(luò)穩(wěn)定性的判定依據(jù)。1984年，他又提出了網(wǎng)絡(luò)模型實現(xiàn)的電子電路，為神經(jīng)網(wǎng)絡(luò)的工程實現(xiàn)指明了方向，他的研究成果開拓

8、了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶的優(yōu)化計算的新途徑，并為神經(jīng)計算機研究奠定了基礎(chǔ)。1984年Hinton等人將模擬退火算法引入到神經(jīng)網(wǎng)絡(luò)中，提出了Boltzmann機網(wǎng)絡(luò)模型，BM網(wǎng)絡(luò)算法為神經(jīng)網(wǎng)絡(luò)優(yōu)化計算提供了一個有效的方法。1986年，D.E.Rumelhart和J.LMcclell提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡(luò)學(xué)習(xí)方法。1987年美國神經(jīng)計算機專家R.Hecht—Nielsen提出了對向傳播神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有分類靈

9、活，算法簡練的優(yōu)點，可用于模式分類、函數(shù)逼近、統(tǒng)計分析和數(shù)據(jù)壓縮等領(lǐng)域。1988年L.Ochua等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型，它在視覺初級加工上得到了廣泛應(yīng)用。為適應(yīng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，1987年成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會，并決定定期召開國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)網(wǎng)絡(luò)的算法和性能，如神經(jīng)計算、進化計算、穩(wěn)定性、收斂性、計算復(fù)雜性、容錯性、魯棒性等，開發(fā)新的網(wǎng)絡(luò)數(shù)理理論。由于神經(jīng)網(wǎng)絡(luò)的非線性，因此非線性問題的研究是神經(jīng)網(wǎng)絡(luò)理論發(fā)展的一個最大動力。特別是人

10、們發(fā)現(xiàn)，腦中存在著混沌現(xiàn)象以來，用混沌動力學(xué)啟發(fā)神經(jīng)網(wǎng)絡(luò)的研究或用神經(jīng)網(wǎng)絡(luò)產(chǎn)生混沌成為擺在人們面前的一個新課題，因為從生理本質(zhì)角度出發(fā)是研究神經(jīng)網(wǎng)絡(luò)的根本手段。（2）神經(jīng)網(wǎng)絡(luò)軟件模擬，硬件實現(xiàn)的研究以及神經(jīng)網(wǎng)絡(luò)在各個科學(xué)技術(shù)領(lǐng)域應(yīng)用的研究。由于人工神經(jīng)網(wǎng)絡(luò)可以用傳統(tǒng)計算機模擬，也可以用集成電路芯片組成神經(jīng)計算機，甚至還可以用光學(xué)的、生物芯片的方式實現(xiàn)，因此研制純軟件模擬，虛擬模擬和全硬件實現(xiàn)的電子神經(jīng)網(wǎng)絡(luò)計算機潛力巨大。如何使神經(jīng)網(wǎng)絡(luò)計

11、算機與傳統(tǒng)的計算機和人工智能技術(shù)相結(jié)合也是前沿課題；如何使神經(jīng)網(wǎng)絡(luò)計算機的功能向智能化發(fā)展，研制與人腦功能相似的智能計算機，如光學(xué)神經(jīng)計算機，分子神經(jīng)計算機，將具有十分誘人的前景。4哲理哲理（1）人工神經(jīng)網(wǎng)絡(luò)打開了認(rèn)識論的新領(lǐng)域認(rèn)識與腦的問題，長期以來一直受到人們的關(guān)注，因為它不僅是有關(guān)人的心理、意識的心理學(xué)問題，也是有關(guān)人的思維活動機制的腦科學(xué)與思維科學(xué)問題，而且直接關(guān)系到對物質(zhì)與意識的哲學(xué)基本問題的回答。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展使我們能夠

12、更進一步地既唯物又辯證地理解認(rèn)識與腦的關(guān)系，打開認(rèn)識論的新領(lǐng)域。人腦是一個復(fù)雜的并行系統(tǒng)，它具有“認(rèn)知、意識、情感”等高級腦功能，用人工進行模擬，有利于加深對思維及智能的認(rèn)識，已對認(rèn)知和智力的本質(zhì)的研究產(chǎn)生了極大的推動作用。在研究大腦的整體功能和復(fù)雜性方面，人工神經(jīng)網(wǎng)絡(luò)給人們帶來了新的啟迪。由于人腦中存在混沌現(xiàn)象，混沌可用來理解腦中某些不規(guī)則的活動，從而混沌動力學(xué)模型能用作人對外部世界建模的工具，可用來描述人腦的信息處理過程?；煦绾椭悄?/p>

13、是有關(guān)的，神經(jīng)網(wǎng)絡(luò)中引入混沌學(xué)思想有助于提示人類形象思維等方面的奧秘。人工神經(jīng)網(wǎng)絡(luò)之所以再度興起，關(guān)鍵在于它反映了事物的非線性，抓住了客觀世界的本質(zhì)，而且它在一定程度上正面回答了智能系統(tǒng)如何從環(huán)境中自主學(xué)習(xí)這一最關(guān)鍵的問題，從認(rèn)知的角度講，所謂學(xué)習(xí)，就是對未知現(xiàn)象或規(guī)律的發(fā)現(xiàn)和歸納。由于神經(jīng)網(wǎng)絡(luò)具有高度的并行性，高度的非線性全局作用，良好的容錯性與聯(lián)想記憶功能以及十分強的自適應(yīng)、自學(xué)習(xí)功能，而使得它成為揭示智能和了解人腦工作方式的合理途

14、徑。但是，由于認(rèn)知問題的復(fù)雜性，目前，我們對于腦神經(jīng)網(wǎng)的運行和神經(jīng)細(xì)胞的內(nèi)部處理機制，如信息在人腦是如何傳輸、存貯、加工的？記憶、聯(lián)想、判斷是如何形成的？大腦是否存在一個操作系統(tǒng)？還沒有太多的認(rèn)識，因此要制造人工神經(jīng)網(wǎng)絡(luò)來模仿人腦各方面的功能，還有待于人們對大腦信息處理機理認(rèn)識的深化。（2）人工神經(jīng)網(wǎng)絡(luò)發(fā)展的推動力來源于實踐、理論和問題的相互作用隨著人們社會實踐范圍的不斷擴大，社會實踐層次的不斷深入，人們所接觸到的自然現(xiàn)象也越來越豐富多

15、彩、紛繁復(fù)雜，這就促使人們用不同的原因加以解釋不同種類的自然現(xiàn)象，當(dāng)不同種類的自然現(xiàn)象可以用同樣的原因加以解釋，這樣就出現(xiàn)了不同學(xué)科的相互交叉、綜合，人工神經(jīng)網(wǎng)絡(luò)就這樣產(chǎn)生了。在開始階段，由于這些理論化的網(wǎng)絡(luò)模型比較簡單，還存在許多問題，而且這些模型幾乎沒有得到實踐的檢驗，因而神經(jīng)網(wǎng)絡(luò)的發(fā)展比較緩慢。隨著理論研究的深入，問題逐漸地解決特別是工程上得到實現(xiàn)以后，如聲納識別成功，才迎來了神經(jīng)網(wǎng)絡(luò)的第一個發(fā)展高潮?？蒑inisky認(rèn)為感知器不

16、能解決異或問題，多層感知器也不過如此，神經(jīng)網(wǎng)絡(luò)的研究進入了低谷，這主要是因為非線性問題沒得到解決。隨著理論的不斷豐富，實踐的不斷深入，現(xiàn)在已證明Minisky的悲觀論調(diào)是錯誤的。今天，高度發(fā)達的科學(xué)技術(shù)逐漸揭示了非線性問題是客觀世界的本質(zhì)。問題、理論、實踐的相互作用又迎來了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。目前人工神經(jīng)網(wǎng)絡(luò)的問題是智能水平不高，還有其它理論和實現(xiàn)方面的問題，這就迫使人們不斷地進行理論研究，不斷實踐，促使神經(jīng)網(wǎng)絡(luò)不斷向前發(fā)展?？傊?/p>

17、，先前的原因遇到了解釋不同的新現(xiàn)象，促使人們提出更加普遍和精確的原因來解釋。理論是基礎(chǔ)，實踐是動力，但單純的理論和實踐的作用還不能推動人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，還必須有問題提出，才能吸引科學(xué)家進入研究的特定范圍，引導(dǎo)科學(xué)家從事相關(guān)研究，從而逼近科學(xué)發(fā)現(xiàn)，而后實踐又提出新問題，新問題又引發(fā)新的思考，促使科學(xué)家不斷思考，不斷完善理論。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展無不體現(xiàn)著問題、理論和實踐的辯證統(tǒng)一關(guān)系。（3）人工神經(jīng)網(wǎng)絡(luò)發(fā)展的另一推動力來源于相關(guān)學(xué)科的貢獻