清華大學本科畢業(yè)論文

1、第1章概論1.1計算機、生物神經(jīng)網(wǎng)絡與人工神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡作為人工智能的一個分支，在近二十年來，受到人們的廣泛關注。工業(yè)革命以來，人類大量采用機器來減輕人們的體力勞動，并獲得了巨大的效益。同樣，人類為了通過使用某種機器來減輕人類的腦力勞動，也一直進行著不懈的努力。到了20世紀40年代，由于計算機的發(fā)明，使得人類的文明進入到計算機時代。通過使用計算機，人們可以解決科學計算和工程設計中的一些復雜的問題，在一定程度上減輕了人們的腦力勞動。然而

2、，計算機需要在人們事先編制好的程序的指揮下才能工作，從這個意義上講，計算機并沒有真正意義上的智能。目前，計算機的主要應用仍然是信息處理和科學計算，對于智能計算，像分析、推理、判斷、綜合等方面，現(xiàn)代計算機仍然顯得能力低下。因此，智能計算機的開發(fā)研究成了一個十分引人關注的問題，科學家們也為此投入了巨大的研究熱情，一些發(fā)達國家也投入大量的人力物力來開發(fā)智能計算機。然而，由于人類對于智能的理解還十分膚淺，開發(fā)智能計算機也遇到了巨大的挑戰(zhàn)，可以說

3、，到目前為止，智能計算機還僅僅是一個夢想。揭開智能之謎還需要進行大量的研究，這里面涉及到諸多方面的理論知識，包括計算機理論、信息處理、語言學、認知科學、數(shù)學、生理學、解剖學、哲學等方面的知識。因此，智能計算機的發(fā)展還需有一個相當漫長的過程。在應用方面，對于智能計算和智能計算機的發(fā)展也是非常迫切的。例如，一些危險行業(yè)以及惡劣的工作環(huán)境，人們需要機器人來幫助工作，然而，機器人技術的發(fā)展離不開智能計算和智能計算機?？梢哉f，智能計算機在當今人類

4、社會發(fā)展的進程中，已經(jīng)被提到了議事日程，是當今人類社會所面臨的一項迫切而又重大的科技問題。自從20世紀40年代人類發(fā)明計算機以來，可以說其發(fā)展速度一日千里。計算機改變了人們的生活方式，帶來了信息技術的革命。傳統(tǒng)計算機的存儲能力、計算速度的發(fā)展非?？欤饕靡嬗谟布陌l(fā)展。相對而言，計算機體系結(jié)構的發(fā)展比較緩慢，基本上還是馮諾依曼體系。它只能在人的指揮下工作，沒有學習、創(chuàng)造等反映智能特征的能力。對于許多模式識別的問題，現(xiàn)代計算機的工作能力

5、和效率還遠不如人。筆者認為，智能計算及其發(fā)展需要突破傳統(tǒng)的馮諾依曼體系，建立新型的計算機體系結(jié)構，當然，任重道遠，需要科學家們的不懈努力。智能計算的核心問題是關于人腦功能的模擬問題，這需要回答什么是智能、什么是計算、什么是智能計算等復雜的問題。然而，遺憾的是，人類對于這些問題尚缺乏深刻的認識，還處在探索階段。盡管如此，人類并沒有在研究智能計算機的道路上止步不前，目前認為，人類的大腦中的神經(jīng)元對于人腦的智能起著關鍵的作用，這些神經(jīng)元的數(shù)量

6、非常多，組成了十分復雜的生物神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡系統(tǒng)理論是以人腦的智能功能為研究對象，研究人類大腦的信息處理能力與方法，特別是研究與人類大腦的智能信息處理能力相關的信第1章概論3（或者說，準確地“回想”起所學過的樣本）。（1）本書提出的代數(shù)算法在理論和應用上能使代價函數(shù)為0。對BP（反向傳播）算法而言，通常代價函數(shù)大于0，這意味著代數(shù)算法的精度遠高于BP算法?；蛘吒_切地說，代數(shù)算法能準確地獲得全局最優(yōu)點，而BP算法通常無法獲得全局最優(yōu)點

7、。（2）從時間復雜度上來看，代數(shù)算法無須迭代計算，是一種多項式階算法，而BP算法的時間復雜度目前尚未見到理論上的報道，但通過一些實驗研究認為其時間復雜度為指數(shù)階（見第3章）。多項式階算法的時間效率遠優(yōu)于指數(shù)階算法，因而本書算法較BP算法要快得多，可求解問題的規(guī)模也要大得多。（3）從工程應用上看，代數(shù)算法給出了隱層所需神經(jīng)元個數(shù)的準確計算方法，而BP算法只能給出一些經(jīng)驗數(shù)據(jù)，這意味著本書新方法在工程應用中具有比BP算法優(yōu)越得多的指導作用。

8、綜上所述，可以認為代數(shù)算法開辟了多層前饋人工神經(jīng)網(wǎng)絡算法的一個新領域，在理論和應用上都具有重要的價值。另外，本書的另一個重要創(chuàng)新是對工程上常用的三層神經(jīng)網(wǎng)絡的極限逼近能力進行了深入的分析，得出了一系列重要的結(jié)果。這些結(jié)果指出，必然存在代價函數(shù)最小值為0的三層神經(jīng)網(wǎng)絡（此時對應的解為全局最優(yōu)解）；如果三層神經(jīng)網(wǎng)絡的隱層神經(jīng)元個數(shù)固定（即為某一確定的不可調(diào)整的常數(shù)），則對一些給定的樣本，該三層神經(jīng)網(wǎng)絡的代價函數(shù)最小值將大于0，這意味著此時三

9、層神經(jīng)網(wǎng)絡的逼近精度是有限的，它不可能使神經(jīng)網(wǎng)絡以任意精度趨近于0。這一結(jié)論深刻地揭示了隱層神經(jīng)元個數(shù)的選擇將直接影響到三層神經(jīng)網(wǎng)絡的極限逼近能力，或者說，將直接影響到三層神經(jīng)網(wǎng)絡的全局最小代價函數(shù)值的大小。不僅如此，還給出了一個非常有實用價值的便于計算的估計公式。利用這一估計公式，可使網(wǎng)絡在訓練之前就知道該網(wǎng)絡對給定訓練樣本的極限逼近能力，這一結(jié)果對前饋網(wǎng)絡訓練學習算法的停機準則有重要的理論指導意義。以上的創(chuàng)新構成了本書的核心與精華。

10、2樣條函數(shù)神經(jīng)網(wǎng)絡算法雖然代數(shù)算法克服了傳統(tǒng)算法的主要缺點（例如速度慢，難以求得全局最優(yōu)值，無法確定隱層神經(jīng)元個數(shù)等），但由于代數(shù)算法實現(xiàn)精確映射的一個充分條件是隱層神經(jīng)元的個數(shù)等于訓練樣本的個數(shù)（見第3章），這使得當訓練的樣本數(shù)量很多時會使得神經(jīng)網(wǎng)絡隱層神經(jīng)元的個數(shù)太多，使得神經(jīng)網(wǎng)絡的結(jié)構復雜。另外，代數(shù)算法與傳統(tǒng)算法的共同缺點是訓練后的權值是常數(shù)，難以反映樣本的內(nèi)在信息。為了克服代數(shù)算法的缺點，本書作者提出了樣條函數(shù)神經(jīng)網(wǎng)絡算法。樣

11、條函數(shù)神經(jīng)網(wǎng)絡算法首先改造了傳統(tǒng)神經(jīng)網(wǎng)絡的結(jié)構，使得神經(jīng)網(wǎng)絡的結(jié)構與訓練樣本個數(shù)無關。另外，樣條函數(shù)神經(jīng)網(wǎng)絡算法將常數(shù)權改成了權函數(shù)，即看成輸入樣本的函數(shù)，采用三次樣條函數(shù)來實現(xiàn)。這樣做將權與樣本之間建立起了聯(lián)系，可以反映訓練樣本的信息。訓練后的神經(jīng)網(wǎng)絡，其權函數(shù)可以很好地反映樣本的特征信息。樣條函數(shù)神經(jīng)網(wǎng)絡算法同樣可以實現(xiàn)代價函數(shù)為0的精確映射，能夠方便地求得全局最優(yōu)點。不僅如此，樣條函數(shù)神經(jīng)網(wǎng)絡算法還具有很好的泛化能力（見第6章）另