畢業(yè)設計論文---人工神經網絡

1、<p><b>　　目 錄</b></p><p><b>　　目錄1</b></p><p><b>　　第一章緒論3</b></p><p>　　第二章神經網絡4</p><p>　　2.1神經網絡的發(fā)展和應用4</p><p&

2、gt;　　2.1.1神經網絡的產生4</p><p>　　2.1.2神經網絡的發(fā)展5</p><p>　　2.1.3神經網絡的應用6</p><p>　　2.2人工神經網絡實現原理7</p><p>　　2.2.1 人工神經元7</p><p>　　2.2.2人工神經網絡的基本原理及構成8</p>

3、;<p>　　2.2.3幾種典型的神經網絡簡介8</p><p>　　2.3神經網絡的相關知識10</p><p>　　2.3.1人工神經網絡的基本特征10</p><p>　　2.3.2神經網絡的學習方式11</p><p>　　2.3.3人工神經網絡的實現及應用舉例12</p><p>　　

4、2.3.4人工神經網絡的發(fā)展前景13</p><p>　　第三章 BP網絡14</p><p>　　3.1 BP 算法14</p><p>　　3.1.1 BP算法的主要思想14</p><p>　　3.1.2 BP算法的組成14</p><p>　　3.1.3 BP網絡的一般學習算法15</p&g

5、t;<p>　　3.2 BP學習算法的局限性與對策17</p><p>　　3.2.1 BP學習算法存在的局限性17</p><p>　　3.2.2克服BP學習算法的對策18</p><p>　　3.3對BP算法的改進21</p><p>　　3.3.1改進誤差函數21</p><p>　　3.

6、3.2改進激勵函數22</p><p>　　3.3.3改進優(yōu)化算法23</p><p>　　第四章 手寫數字識別24</p><p>　　4.1 模式識別24</p><p>　　4.1.1模式和模式識別的概念24</p><p>　　4.1.2模式識別系統的構成25</p><p>

7、;　　4.2手寫體數字識別26</p><p>　　4.2.1課題概述26</p><p>　　4.2.2手寫體數字識別的主要方法27</p><p>　　4.2.3手寫數字識別的一般方法及其難點29</p><p>　　4.2.4聯機字符識別原理30</p><p>　　4.2.5預處理及模板的建立31&

8、lt;/p><p>　　4.2.6樣本集對識別結果的影響33</p><p>　　4.2.7程序實現36</p><p>　　第五章軟件開發(fā)環(huán)境39</p><p>　　5.1 軟件開發(fā)平臺39</p><p>　　5.2Visual C++的組成39</p><p>　　5.3Visu

9、al C++的特點40</p><p><b>　　致謝43</b></p><p><b>　　參考文獻44</b></p><p><b>　　第一章 緒論</b></p><p>　　二十多年來，人們在數字識別領域做了大量的研究工作，所提出的各種方法在印刷體和手寫

10、印刷體數字識別方面已經取得了較好的成績，識別率穩(wěn)定在96%左右。但是自由手寫體數字的識別工作目前尚處于探索性階段，仍舊是文字識別中最有挑戰(zhàn)性的課題之一。</p><p>　　字符識別長期以來都是采用傳統的識別方法，對印刷體字符的識別率一般只是穩(wěn)定在96％左右，不能進一步提高；而對手寫體字符的識別，其研究還處于探索階段，其識別率還相當低，因此，為了提高識別率，就必須尋求新的方法和途徑。</p><

11、;p>　　揭示與模擬人腦神經系統機理是研制新一代智能計算機的關鍵之一。進入九十年代以來，人工神經網絡（ANN）技術發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學習、記憶、推理等認知功能的新方法。特別是它的信息并行分布式處理能力和自學習功能等顯著優(yōu)點，更是激起了人們對它的極大的興趣。為模式識別開辟了新的途徑，成了模擬人工智能的一種重要方法。</p><p>　　人工神經網絡是由一些類似人腦神

12、經元的簡單處理單元相互連接而成的復雜網絡。已涌現出許多不同類型的ANN及相應的學習算法，其中BP（或EBP-Error Back Propagation）網絡及學習算法得到了廣泛關注和研究，并在模式識別與分類、機器人控制、數據壓縮等領域取得了許多有意義的應用成果。</p><p>　　在認真地研究了精神網絡的基本原理和機制的基礎上，結合手寫體數字識別這一具體課題，提出了用精神網絡方法來實現手寫體數字識別的方案。在

13、自由手寫體數字識別方面，許多研究工作者使用ANN 技術做了不少嘗試，有了較大的進展。</p><p><b>　　第二章神經網絡</b></p><p>　　2.1神經網絡的發(fā)展和應用</p><p>　　2.1.1神經網絡的產生</p><p>　　現代計算機有著很強的計算和信息處理能力，但是它解決像模式識別、感知、

14、評判和決策等復雜問題的能力卻遠不如人，特別是它只能按人事先編好的程序機械地執(zhí)行。人是地球上具有最高智慧的生物，人腦在處理語言理解、模式識別等方面問題時具有現有計算機無法比擬的優(yōu)越性。長期以來，很多科學家一直在致力于人腦的內部結構和功能的探討和研究，并試圖建立模仿人類大腦的計算機。</p><p>　　人的大腦可以在幾秒內判斷出人在一個動態(tài)的十字路口是否應該過馬路，而若要計算機來做這個工作，其計算量大到幾乎不可能做

15、到。一個三歲小孩可以輕而易舉地從一堆照片中找出自己的父母親來，而若要計算機來完成這個任務，其計算量同樣大的驚人。人腦具有的自組織功能、聯想功能及容錯性都是計算機所不具備的。</p><p>　　盡管目前人們對大腦神經網絡的結構、運行機制，甚至單個神經細胞的工作原理的細節(jié)了解還比較膚淺，但人們可以根據選擇已有的大腦微觀組成（神經元）及大腦的宏觀功能兩方面的知識來構造人工精神網絡系統，模擬大腦的某些功能。這正如人類在

16、模擬鳥的飛行過程中造出了飛機一樣，產生了以模仿人腦功能為目的，涉及到生物、生理、控制論、數學及光電子信息等科學的綜合科學——人工精神網絡。</p><p>　　人工神經網絡（Artificial Neural Networks，簡稱NN或ANN），是一門發(fā)展十分迅速的交叉學科，它涉及到生物、計算機、數學、電子、物理、心理學、認知科學等許多學科。簡單來說就是為模仿人腦工作方式而設計一種機器，它可用電子或光電元件實現

17、，也可以用軟件在常規(guī)計算機上仿真，具有通過學習獲取知識并解決問題的能力。</p><p>　　2.1.2神經網絡的發(fā)展</p><p>　　對人工神經網絡的研究早在40年代就已開始，1943年，心理學家麥卡洛克（W.S.McCulloch）和數學家皮茨（W.Pitts）根據動物神經元的生理特點，合作提出了神經元的數學模型，稱為MP模型，如圖1－1所示。開創(chuàng)了從信息處理的觀點出發(fā)，采用數理模

18、型的方法對神經網絡進行研究的先例。但是在此之后的一個長時期內馮·諾依曼計算機取得了突飛猛進的發(fā)展，而神經網絡的研究卻沒有取得長足進展。</p><p>　　50年代中期，由于感知機（Perceptron）及其學習算法獲得局部成功，曾風行一時。但很快又因感知機分類能力的局限性而轉入低潮。</p><p>　　經過近20年的沉默和少數先驅者的艱苦努力，到80年代初又重新興起。一方面是

19、由于傳統的人工智能方法在解決像視覺處理、語言理解等方面問題時陷于困境；另一方面，神經網絡的一些研究成果有了很大的突破。1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種新的精神網絡模型，引入“能量”函數，使得網絡穩(wěn)定性研究有了明顯的依據。特別是這種模型所具有的聯想記憶、分類與誤差自動校正等智能功能，尤其引起人們的興趣。1984年，霍普菲爾德將這種模型用簡明模擬電子電路實現，并應用于目前電子計算機尚難于解決的著名的“巡回推銷

20、員問題（TSP，Travel Salesmen Problem）”，獲得了很好的答案。Dvaid Rumelhart等人發(fā)表了PDP（Parallel Distribution Processing）理論，提出了誤差反向傳播（Error Back Propagation）學習方法，使得原以為不可能的多層網絡的學習問題得到了解決。此后，在美國、日本、歐洲掀起了一股神經網絡研究熱潮。</p><p>　　現在，ANN

21、已經成為諸多科學與技術學科共同關注的重大課題，神經網絡的研究涉及眾多學科領域。不同領域的科學家和技術學家從各自學科的興趣和特色出發(fā)，提出不同的問題，從不同的角度著手研究，解決自己領域內的種種問題。</p><p>　　2.1.3神經網絡的應用</p><p>　　人工神經網絡在應用上已迅速擴展到許多重要領域。</p><p><b>　　模式識別與圖像處理

22、</b></p><p>　　印刷體和手寫體字符識別，語音識別，簽字識別，指紋識別，人臉識別，癌細胞檢測，心電圖和腦電圖分類，RNA和DNA識別，油氣貯藏勘測，加速器事故檢測，目標檢測與識別，圖像壓縮，圖像復原等。</p><p><b>　　控制與優(yōu)化</b></p><p>　　化工過程控制，機械手運動，電弧爐電極控制，半導體生

23、產中摻雜控制，石油精煉和食品工業(yè)中優(yōu)化控制，VLSI（超大規(guī)模集成電路）布線設計等。</p><p><b>　　預測與管理</b></p><p>　　股票市場預測，有價證券管理，信貸風險分析，信用卡管理，機票管理。</p><p><b>　　通信</b></p><p>　　自適應均衡，回波抵

24、消，路由選擇，ATM網絡中的呼叫接納識別及控制等。</p><p>　　其它應用如導航，光學望遠鏡聚焦，運載體軌跡控制，電機故障檢測以及多媒體技術等。</p><p>　　2.2人工神經網絡實現原理</p><p>　　神經元（neuron或neurone）是神經系統內直接從事信息的接收或產生、傳遞以及處理工作的神經細胞。對大腦神經元的研究表明，當其處于興奮狀態(tài)時，

25、輸出側的軸突就會發(fā)出脈沖信號，每個神經元的樹狀突起與來自其他神經元軸突的互相結合部（此結合部稱為Synapse，即突觸），接收由軸突傳來的信號。如果一神經元所接收到的信號的總和超過了它本身的“闕值”，則該神經元就會處于興奮狀態(tài)，并向它后續(xù)連接的神經元發(fā)出脈沖信號。人腦大約由1011～1012個神經元組成，人工神經網絡是由多個神經元按照一定的排列順序構成的。神經元是人工神經網絡的基本單元。</p><p>　　2.

26、2.1 人工神經元</p><p>　　圖2-1為人工神經元模型，X為該神經元接受到的來自其它神經元的輸出信息，W為聯接強度，U為內部狀態(tài)，θ是闕值，S為外部輸入信號。它有三個基本要素：</p><p>　?。?）一組連接權（對應于生物神經元的突觸），連接強度由各連接上的權值表示，權值為正表示激勵，為負表示抑制。</p><p>　?。?）一個求和單元，用于求取各輸

27、入信息的加權和（線性組合）。</p><p>　?。?）一個非線性激勵函數，起非線性映射作用并限制神經元輸出幅度在一定的范圍之內（一般限制在[0，1]或[－1，＋1]之間。此外還有闕值θk（或偏置bk=－θk）。以上作用可以用數學式表達為：</p><p><b>　　j</b></p><p>　　人工神經元具有多個輸入和一個輸出，每一個輸入

28、都是前一層神經元的輸出，并且每一個輸入都又可以改變的權重，輸入加權求和后通過一定的函數關系輸出。對應于人體生理神經系統的概念是：神經元的每一輸入為相關神經元的軸突輸出，輸入的權重為本神經元與相關神經元的突觸的聯接強度，并且權重的值可正可負，正表示興奮性突觸，負表示抑制性突觸。神經元在輸入信號作用下產生輸出信號的規(guī)律由神經元功能函數給出，這是神經元模型的外特性。由于神經元功能函數形式的不同，形成了多種多樣的神經元模型。</p>

29、<p>　　2.2.2人工神經網絡的基本原理及構成</p><p>　　一般而言，神經元功能函數有簡單映射、動態(tài)系統方程、概率統計模型和多項式闕值函數模型四類。簡單映射是神經網絡中各神經元輸入與輸出具有一種簡單的線性或者非線性的函數關系。動態(tài)系統方程反映了網絡的動態(tài)特性，其輸入與輸出具有時延關系。概率統計模型描述神經元輸入與輸出之間不存在確定關系，而是一個隨機函數，多項式闕值函數模型反映輸入信號自身

30、相關性，它表征神經元輸入與輸出之間不但存在一階函數關系，而且還存在著輸出與多個輸入的乘積之間的關系。</p><p>　　神經網絡是一個復雜的互聯系統，神經元之間的連接模式種類繁多，形成了多種人工神經網絡模型。</p><p>　　2.2.3幾種典型的神經網絡簡介</p><p>　　現有的人工神經網絡模型已經不下百種。隨著應用研究的不斷深入，新的人工神經網絡模型也

31、在不斷推出。其中最具代表性的人工神經網絡模型有多層前饋網絡（MLP），Hopfield神經網絡（HNN），隨機神經網絡和自組織神經網絡。</p><p>　?。?）多層前饋網絡及BP算法</p><p>　　自從1985年Rosenblatt提出了反向傳播（BP）算法以來，前饋網絡的研究取得了重大進展。但是人工神經網絡硬件芯片的進展還十分緩慢，大部分工作是在計算機上對標準BP算法進行改進。

32、目前，在天氣預報、行情預測、數學分類、建筑設計等領域得到了廣泛的應用。</p><p>　?。?）Hopfield神經網絡 （HNN）</p><p>　　Hopfield神經網絡是一種帶有反饋的動力學系統，它分離散和連續(xù)兩種模型。離散模型可以用一種加權無向圖來表示，它多應用于聯想存儲、模式識別與優(yōu)化計算。連續(xù)模型引入了能量函數的概念，使求解優(yōu)化組合問題轉化為求解能量最小問題。其思想是將求

33、解的問題表達為一個動力學系統（即神經網絡），并研究其收斂性，構造一種合適的能量函數，使其最小值點對應于優(yōu)化組合問題的最佳解。目前研究的焦點是構造一種符合問題的能量函數以求解不同的問題，其中最著名的旅行商（TSP）問題，八皇后問題都是利用連續(xù)Hopfield神經網絡求解，并得到了滿意結果。</p><p>　?。?）隨機神經網絡與模擬退火算法</p><p>　　1983年Hinton等提出

34、的Boltzmann機是隨機神經網絡模型的典型代表。它可以看成Hopfield聯想記憶模型的推廣，與Hopfield網絡不同的是，它是具有概率狀態(tài)隨機轉移機制而Hopfield是確定性的。此外，Boltzmann機還允許含有隱單元來捕獲學習中的高階規(guī)則。目前常用的算法有模擬退火算法和快速模擬退火算法及一些改進算法，利用Boltzmann機，主要應用于優(yōu)化計算，由于引入一定程度的隨機性擾動，以保證系統從局部極小中爬出來，找到全局極小，即得

35、到全局最優(yōu)。</p><p>　?。?）自組織神經網絡</p><p>　　自組織神經網絡是一類無教師監(jiān)督學習的網絡，它的兩個核心是自適應共振理論（ART）和自組織特征映射。由于這類網絡具有無教師監(jiān)督學習的特點，因此它可以實時學習，并可適應非平穩(wěn)的環(huán)境。目前，主要工作是對自適應算法進行研究。實際應用中，自組織特征映射網絡主要用于自聯想最臨近分類器。</p><p>

36、　　2.3神經網絡的相關知識</p><p>　　2.3.1人工神經網絡的基本特征</p><p>　　人工神經網絡是一種模仿人類神經系統的數學模型，是在現代腦神經科學基礎上提出來的，它反映了人腦功能的基本特性。但它并不是人腦的真實描寫，而只是它的某種抽象、簡化和模擬。人工神經網絡這些特點使得它不同于一般計算機和人工智能。</p><p>　　（1）人工神經網絡為廣

37、泛連接的巨型系統。神經科學研究表明，人類中樞神經的主要部分大腦皮層由1011～1012個神經元組成，每個神經元共有101～105個突觸，突觸為神經元之間的結合部，決定神經元之間的連接強度與性質。這表明大腦皮層是一個廣泛連接的巨型復雜系統。人工神經網絡的連接機制模仿了人腦的這一特性。</p><p>　?。?）人工神經網絡有其并行結構和并行處理機制。人工神經網絡不但結構上是并行的，它的處理順序也是并行的和同時的。在

38、同一層內處理單元都是同時操作的，即神經網絡的計算功能分布在多個處理單元上。</p><p>　?。?）人工神經網絡具有分布式結構。在神經網絡中，知識不是存儲在特定的存儲單元中，而是分布在整個系統中，要存儲多個知識就需要很多連接。而存儲知識的獲得采用“聯想”的辦法，這類似人類和動物的聯想記憶。當一個神經網絡輸入一個激勵時，它要在已存儲的知識中尋找與輸入匹配最好的存儲知識為其解。聯想記憶有兩個主要特點：一是具有存儲大

39、量復雜圖形的能力（像語音的樣本可視為圖像，其它像機器人的活動，時空圖形的狀態(tài)，社會的情況等），一是可以很快地將新的輸入圖形歸并分類為已存儲圖形的某一類。</p><p>　?。?）人工神經網絡具有很強的容錯性。大腦具有很強的容錯能力。我們知道，每天都有大腦細胞自動死去，但并沒有影響人們的記憶和思考能力。這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的結果。人工神經網絡也是如此，由于知識存儲在整個系統中，而

40、不是在一個存儲單元中，一定比例的結點不參與運算，對整個系統性能不會產生重大影響。</p><p>　?。?）人工神經網絡具有自學習、自組織、自適應能力。人腦功能受先天因素的制約，但后天因素（如經歷、學習與訓練等）起著重要作用。人工神經網絡很好地模擬了人腦的這一特性。如果最后的輸出不正確，系統可以調整加到每個輸入上去的權重以產生一個新的結果，這可以通過一定的訓練算法來實現。訓練過程是復雜的，通過網絡重復地進行輸入數

41、據，且每次都調整權重以改善結果，最終達到所希望的輸出。網絡便在訓練過程中學到了經驗。</p><p>　　2.3.2神經網絡的學習方式</p><p>　　通過向環(huán)境學習獲取知識并改進自身性能是NN的一個重要特點。在一般情況下，性能的改善是按某種預定的度量通過調節(jié)自身參數（如權值）隨時間逐步達到的。學習方式(按照環(huán)境提供信息量的多少)有三種：</p><p>　　1

42、．監(jiān)督學習（有教師學習）</p><p>　　如圖2－2所示，這種學習方式需要外界存在一個“教師”，它可對給定一組輸入提供應有的輸出結果（正確答案），這組已知的輸入－輸出數據稱為訓練樣本集，學習系統可根據已知輸出與實際輸入之間的差值（誤差信號）來調節(jié)系統參數。</p><p>　　2．非監(jiān)督學習（無教師學習）</p><p>　　如圖2－3所示，非監(jiān)督學習時不存在外

43、部教師，學習系統完全按照環(huán)境提供數據的某些統計規(guī)律來調節(jié)自身參數或結構（這是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統計上的分布特征）。</p><p>　　3．再勵學習（強化學習）</p><p>　　如圖2－4所示，這種學習介于上述兩種情況之間，外部環(huán)境對系統輸出結果只給出評價信息（獎或懲）而不是給出正確答案。學習系統通過強化那些受獎的動作來改善自身的性能。<

44、;/p><p>　　圖2－4 再勵學習框圖</p><p>　　當學習系統所處環(huán)境平穩(wěn)時（統計特性不隨時間變化），從理論上講通過監(jiān)督學習可以學到環(huán)境的統計特性，這些統計特性可被學習系統（神經網絡）作為經驗記住。如果環(huán)境是非平穩(wěn)的（統計特性隨時間變化），通常的監(jiān)督學習沒有能力跟蹤這種變化，此時需要對每一不同輸入都作為一個新的例子來對待。</p><p>　　2.3.3人

45、工神經網絡的實現及應用舉例</p><p>　　目前，人工神經網絡的實現方法有以下四種途徑：</p><p><b>　　1．軟件模擬</b></p><p>　　2．超大規(guī)模集成電路（VLSI）</p><p><b>　　3．光電混合</b></p><p><b&

46、gt;　　4．全光實現</b></p><p>　　軟件模擬盡管由于受現行計算機串行處理的限制而發(fā)揮不出神經網絡并行計算速度快的優(yōu)點來，學習速度慢，但因為其容易實現，因而是用來研究網絡模型性能特點的很好工具。對于改變網絡模型性能，為硬件實現提供可靠資料方面，軟件模擬起著重要作用。對一些可以離線學習的實際應用問題，也可以用軟件模擬的方法來實現。</p><p>　　由于超大規(guī)模集

47、成電路技術的成熟，目前國外已經研制出各種神經芯片。全光實現神經網絡的典型例子是Hopfield模型的實現，即Y.Owechko提出的關聯存儲器，它充分利用了光學二維并行處理的特點。光電混合的實現方法將光的二維并行處理特點同電子控制的靈活性結合起來，各取所長。利用光學方法實現并行的矩陣矢量乘法運算，即光學乘法器，用電子或計算機方法來取闕值，控制反饋并調節(jié)互聯權重，其發(fā)展相當迅速。</p><p>　　2.3.4人工

48、神經網絡的發(fā)展前景</p><p>　　近幾年來，人工神經網絡無論在理論研究上，還是再實踐應用中，都取得了突飛猛進的發(fā)展。但是我們必須清醒的認識到，人工神經網絡與生物神經系統相比，無論在結構還是在規(guī)模上，都只是極其簡單的模擬。另外，現在人工神經網絡的應用，都是為某種特定的用途而開展的，其設計規(guī)則沒有推廣性。因此，人工神經網絡的研究還存在著許多待研究的問題。具體來講，今后的研究還需致力于以下幾個方面：</p&

49、gt;<p>　　（1）研究人工神經網絡的通用網絡規(guī)模及算法，包括網絡的層數、每層節(jié)點數、連接方式、激發(fā)函數的類型等。</p><p>　?。?）研究學習算法，使網絡的訓練能既快又穩(wěn)地收斂到全局最小點，即全局最優(yōu)解。</p><p>　?。?）研制人工神經網絡硬件芯片以提高運行速度。</p><p>　　（4）研究人工神經網絡類似人類的知識獲取過程。人

50、類的知識獲取是循序漸進、逐漸積累、至始到終的。一般是經過訓練，從無知一躍變?yōu)榫哂心撤N專門知識，并停留在這一水平上。若要加入新知識則需要重新開始學習。這種方式限制了人工神經網絡的發(fā)展。</p><p>　　目前，人工神經網絡還處于算法研究階段，硬件實現進展還十分緩慢。但是隨著超大規(guī)模集成電路VLSI、光學與電子器件的發(fā)展，人工神經網絡將會得到越來越廣泛的應用和迅猛發(fā)展。</p><p>&l

51、t;b>　　第三章 BP網絡</b></p><p>　　3.1 BP 算法</p><p>　　自1985年Rumelhart提出BP算法以來，神經網絡的研究和應用已經迅速發(fā)展并滲透到各個學科，神經網絡算法已不再是只供研究，而在實際的生產中開始了廣泛的應用。如：數據庫系統的數據挖掘、產品的自動分撿系統的圖像識別等。對應地在計算機輔助設計的軟件開發(fā)中，神經網絡算法的設計

52、也越來越多。</p><p>　　神經網絡以其快速的并行處理能力和其強有力的學習能力而獲得越來越廣泛的重視，其中應用最多的是BP神經網絡。BP學習算法，即反向傳播（back propagation）學習算法是一種有導師的示例學習算法。這種學習算法在模式識別領域中，尤其在字符識別的研究中被廣泛使用。其原因是BP算法學習規(guī)則的堅韌性和學習能力很強，當給定模式與BP網絡學會的模式很相似時，BP網絡能很好的完成識別任務。

53、</p><p>　　3.1.1 BP算法的主要思想</p><p>　　BP 算法是一種有監(jiān)督式的學習算法。其主要思想是：輸入學習樣本，使用反向傳播算法對網絡的權值和偏差進行反復的調整訓練，通過誤差的反向傳播，使輸出的向量與期望向量盡可能地接近，當網絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網絡的權值和偏差。</p><p>　　3.1.2 BP算法的組成

54、</p><p>　　BP 算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中,輸入信息從輸入層經過隱含層逐層計算傳向輸出層，每一層神經元的狀態(tài)只影響下一層神經元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網絡將連接權關于誤差函數的導數沿著原來的連接通路反傳回來，通過修改各層神經元的權值使得誤差減小，直至達到期望目標。</p><p&

55、gt;　　3.1.3 BP網絡的一般學習算法</p><p>　　BP網絡是一種有監(jiān)督的前饋運行的神經網絡，它由輸入層i、隱含層h、輸出層k以及各層之間的節(jié)點的連接權所組成。BP網絡的拓撲結構如圖3－1和圖3－2所示。</p><p><b>　　1．正向傳播過程</b></p><p><b>　　輸入層</b><

56、/p><p>　　輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值。</p><p><b>　　隱含層</b></p><p>　　對于節(jié)點j，其輸入值netj為其前一層各節(jié)點輸出值Oi的加權和：</p><p>　　netj＝ijOi （1）</p>

57、<p><b>　　輸出值：</b></p><p>　　Oj＝fs（netj） （2）</p><p>　　式中fs（·）稱為激勵函數或者作用函數。一般采用sigmoid函數：</p><p>　　式中θj稱為闕值，λ稱為溫度系數。</p><p&g

58、t;　　隱含層可為一層或者多層，但是隨著隱含層的增多，網格的復雜程度也隨之增加，學習速度減慢，另外網絡的推導能力也有可能下降，即所謂的“overfitting”現象。網絡隱含層以及節(jié)點數目的選取是BP網絡學習算法有待解決的一個問題。</p><p><b>　　輸出層</b></p><p>　　輸出層的輸入netk與輸出Ok與隱含層類似，分別為：</p>

59、<p>　　netk＝kjOi （4）</p><p>　　Ok＝fx（netk） （5）</p><p><b>　　2．反向傳播過程</b></p><p>　　BP學習算法的誤差函數一般定義為實際輸出與期望輸出的均

60、方誤差和。通過使誤差函數最小化的過程不斷的改變權重，完成從輸入到輸出的非線性映射。</p><p>　　設網絡輸入模式樣本為xp＝{xpi}，期望輸出為{tpk}，均方誤差函數Ep為：</p><p>　　Ep＝pk－Opk）2 （6）</p><p>　　而對于所有的學習樣本，系統的均方誤差為：</p>&

61、lt;p>　　Ep＝tpk－Opk）2 （7）</p><p>　　為了達到學習目的，要根據誤差函數來相應地調整網絡間的連接權值。一般來說經典的BP學習算法采用最速梯度下降法調整權值，每次調整的增量為：</p><p>　　式中0<η<1稱為學習率。</p><p>　　從（8）式可推出下列連接權值的修正量公

62、式</p><p>　　⊿Wkj＝ηkOj （9）</p><p><b>　　對于輸出節(jié)點：</b></p><p>　　k＝（tk－Ok）Ok(1－Ok) （10）</p><p><b>　　對于隱節(jié)點

63、：</b></p><p>　　j＝Oj（1－Oj）kWkj （11）</p><p>　　3.2 BP學習算法的局限性與對策</p><p>　　BP學習算法解決了多層前饋網絡的訓練與非線性映射問題，在實際應用中具有重大意義，在應用BP學習算法的過程中，人們逐漸發(fā)現它存在的某些缺陷，存在局部極小值、學習速度

64、慢、網絡隱節(jié)點和初始權值的選取只能憑經驗、新加入的樣本要影響已經學完的樣本，并且每個樣本的輸入樣本的特征數目也要求必須相同；學習過程能否收斂，什么時候收斂已經學習后所生成的權重空間的分布狀況等，這些至今還是一個未知數。</p><p>　　3.2.1 BP學習算法存在的局限性</p><p>　　BP學習算法存在的局限性總結如下：</p><p>　　1．歸納能力（

65、GENERALIZATION）</p><p>　　基于BP學習算法的神經網絡具有較強的歸納能力。這里，歸納是指當用一組同類型的樣本集訓練時，BP網絡能將一些不相關的信息忽略掉，而學習樣本集中共同的特征，通過這樣的學習，BP網絡很容易記住了這一類型的樣本。然而，BP學習算法對不同類型微小特征差異的樣本缺乏足夠的歸納能力。</p><p>　　2．外推能力（EXTRAPOLATION）<

66、;/p><p>　　和歸納能力相對，BP網絡的外推能力是指BP網絡對一類樣本訓練完后，對其它非訓練樣本測試其識別能力。實驗結果表明，外推能力與訓練樣本的種類和數量有關。只有將各種不同類型的充足的樣本訓練后，才能對各種樣本的測試達到較好的推廣能力。</p><p><b>　　3．學習速度</b></p><p>　　BP神經網絡的學習過程是一種超大

67、規(guī)模的反復的浮點數值運算過程，因此，無論從學習算法本身考慮，還是從使用的微機設備上考慮，學習速度一般是較慢的。</p><p><b>　　4．收斂性</b></p><p>　　BP學習算法的收斂性至今沒能用完整的理論來證明它。網絡學習過程中極易陷入局部極小點。一旦網絡的權重陷入一個極小點，無論是全局極小點還是局部極小點，學習均告終止。如果在該點的狀態(tài)下所要求的問題

68、解是正確的，那么，該點是局部的還是全局的極小點就顯得不那么重要了。但若所求問題的解是不正確的，那么只有再次調整權值，直到找到另一個極小點對所求問題的解是正確時為止，即要逃離原來的局部極小點。</p><p><b>　　5．解釋能力</b></p><p>　　神經網絡對自身解決問題的方式不能形成一個規(guī)范的推導過程。它通過學習所形成的“自我認識”對人來說是透明的。這對

69、有導師訓練的BP學習算法而言，大大阻礙了指導人與被指導對象的交流。</p><p>　　3.2.2克服BP學習算法的對策</p><p>　　上面論述的BP學習算法局限性，它既受BP學習算法本身不足之處的限制，也受所采用的網絡結構形式的限制，而且還受訓練者所積累的經驗和訓練方法的限制。因此，從以下3個方面改進，實驗效果良好。</p><p>　　1．多神經網絡組合結

70、構</p><p>　　圖3－3為有限類模式識別的多神經網絡組合結構簡圖。設所要求解的問題劃分為m類，分別由group1，group2，…，groupm，共m組神經網絡分類器完成。每一類問題又由該組的若干個規(guī)模較小的神經網絡共同完成。決策判斷將m組的神經網絡分類器輸出綜合考慮，根據輸出結果的要求，可采用不同的決策判斷策略，最后輸出結果。多神經網絡組合結構具有如下的特點：</p><p>　

71、?。?）多神經網絡組合結構，將以往BP網絡規(guī)模大小與問題復雜性的矛盾轉化為系統規(guī)模大小與問題復雜性的矛盾。后一矛盾比較容易由軟件模擬或硬件方法解決。</p><p>　?。?）神經網絡組合結構使得一個復雜的問題得以細分為一個個小問題，分別由不同的小神經網絡完成。做到每個小神經網絡解決的問題簡單，規(guī)模變小，從而確定了對小神經網絡的規(guī)模和識別能力要求。因此，網絡的學習速度得到有效的提高，收斂性問題也容易得到技術上的解

72、決。這樣帶來的好處是學習樣本可以方便、快速地進入系統，從而不斷提高整個系統地識別率。</p><p>　?。?）神經網絡組合結構具有極強地擴充能力。根據所需識別對象的模式類型可方便地確定出所需的分類器組數。并能在系統不斷學習的過程中，靈活地增加或減少每組分類器內小神經網絡地個數。</p><p>　?。?）組合結構使大量地訓練樣本分散到各個小神經網絡中訓練，每個小神經網絡結構相同，規(guī)模不盡

73、相同，所訓練的樣本集也不盡相同。</p><p>　　（5）各個小神經網絡之間是相互獨立的，每當對其中的一個神經網絡進行學習訓練時，只是該小神經網絡內的神經元之間連接權重的改變，而對其它小神經網絡的權重沒有任何影響。各個小神經網絡之間又是相互補充的，每組內各個小神經網絡完成對一個特定問題的學習、訓練和識別。</p><p>　　（6）各組神經網絡分類器之間是相互排斥的。每組神經網絡分類器既

74、完成對本組模式的識別，也完成對其它各組模式的拒識。同時，它們又是相互聯系的，各組神經網絡分類器的組合共同完成對所有模式的識別。</p><p>　　2．對BP學習算法的改進</p><p><b>　　詳見3.3節(jié)</b></p><p><b>　　3．改進訓練策略</b></p><p><

75、;b>　　a．批量學習方式</b></p><p>　　批量學習方法是將樣本集的所有樣本一一輸入，分別求出其輸出誤差。選取最大的誤差對權重進行調整?？墒沁@樣做會帶來新局部極小點的缺點，實驗表明確實如此。出現這類情況，采用如下策略能有效地逃離該局部極小點。</p><p>　　（1）將所有訓練樣本集樣本再輸入一次或者幾次，進行調整權值。因為每次重新輸入樣本時，初值較前一次有

76、變化。</p><p>　?。?）將期望誤差改小。</p><p>　?。?）等新的樣本添加進來后再一起訓練。</p><p>　　b．人工干預的學習方式</p><p>　　（1）限制BP網絡的學習時間</p><p>　　一般規(guī)定一分鐘以內學習結束，否則認為學習速度過于緩慢，此時人為中斷這次的學習過程。</p

77、><p>　?。?）限制單個網絡的規(guī)模及其學習的樣本數。當單個小網絡達到限定的規(guī)模，并且學習的樣本數也達到限定的范圍時，則認為小網絡的識別能力已經足夠了。再增加進來的學習樣本，則只有當它在半分鐘內學習結束的，才被網絡接受，否則認為該小網絡不接受它，也即表明此樣本跟該網絡所能識別的樣本是不合群的。</p><p><b>　?。?）交叉訓練方法</b></p>

78、<p>　　對于一批訓練樣本集，假設有2種類型，不能把集中同一類型的樣本都訓練完后才轉去訓練另一種類型的樣本。而應該將一部分第一種類型的樣本訓練完后，再將一部分第二種類型的樣本進行訓練，然后再輸入另一部分第一種類型的樣本訓練，如此反復。實驗表明，這樣訓練的單個小網絡有較好的識別能力。</p><p>　?。?）一次性整批樣本添加訓練法</p><p>　　將這次所需訓練的樣本一

79、次性地全部添加到原有訓練樣本集后面訓練，直到學習結束。</p><p>　?。?）分批樣本添加訓練法</p><p>　　即將這次所需訓練的全部樣本分成幾批，一次添加一批樣本到原有訓練樣本集后面訓練，等學習結束后，再添加第二批樣本集進行訓練，直到將所有樣本訓練完。</p><p>　?。?）單個樣本添加訓練法</p><p>　　即每次只添加

80、一個樣本進行訓練，直到將所有樣本訓練完。</p><p>　?。?）改變樣本順序的訓練法</p><p>　　當新樣本添加到已有訓練樣本集時，新樣本可插入已有訓練樣本集中任何位置，同時可改變已有訓練樣本的順序。</p><p>　　3.3對BP算法的改進</p><p>　　針對BP算法存在的問題，許多研究者從不從的角度提出了許多的解決方法，

81、這些方法都在一定程度上改進了 BP算法，并且由此繁衍出了很多變型的BP算法。對BP算法的改進可分為以下幾類：</p><p>　　3.3.1改進誤差函數</p><p>　　經典的BP算法采用3.1.3中式（7）的平方型誤差函數，根據優(yōu)化理論，誤差函數可以是多種多樣的。一般來說，BP算法的誤差函數應該具有如下性質：</p><p><b>　?。╥）可微&

82、lt;/b></p><p>　　（ii）|tpk－Opk| fc（tpk－Opk）</p><p>　?。╥ii）fc（tpk－Opk）非負</p><p>　　所以我們只要找到滿足上面三個條件的函數，就可以把它作為BP算法的誤差函數。經典的BP算法權值的調節(jié)增量?W與系統誤差成線性關系。這種調節(jié)容易陷入局部極小，或者產生振蕩。造成這種現象的原因之一是因為在

83、利用系統誤差調節(jié)權值的時候只考慮了誤差函數的一次項而忽略了高次項的作用。有人提出了一種類似的改進方法：取誤差函數為：</p><p><b>　　fc＝1－</b></p><p>　　比較這兩個式子的導數，可以發(fā)現該算法較經典的BP算法多了一項。由Taylor展開式可知該項因子包含了系統誤差的高次項，它的作用是能根據期望輸出與實際輸出之間的誤差動態(tài)的調整學習率，提高

84、了學習速度，避免了局部極小值的出現和振蕩現象的出現，實例運行表明效果提高顯著。Joines也提出了采用包含系統誤差的高次項的誤差函數的改進方法。</p><p>　　3.3.2改進激勵函數</p><p>　　經典的BP算法采用sigmoid函數，其輸出的動態(tài)范圍為[0，1]，其導數為：</p><p>　　f’s＝f（x）（1－f（x））</p>&

85、lt;p>　　把sigmoid函數的值接近于0或1的定義域兩端定義為飽和區(qū)，中間為非飽和區(qū)。在飽和區(qū)函數值對自變量netj的變化不敏感。因此，當某神經元j的輸入總值netj處于飽和區(qū)時，那么權值的微小的變化不會對該神經元的輸出產生什么影響，所以當一個神經元處于飽和區(qū)后，它所受到后面樣本學習的影響不會很大。如果此時神經元的輸出不是期望的輸出值，而權值調節(jié)量又很小，就很難將神經元的狀態(tài)調整過來，因而影響了網絡的收斂速度。這就是所謂的“

86、平臺”現象。</p><p>　　《多層前饋神經網絡的一種快速學習算法》（參考文獻7）中提出了一種方法，當判斷某個神經元處于假飽和時，便不用經典的學習規(guī)則調整權值，而是用一個固定的常數s代替f’s，促使神經元迅速地從假飽和狀態(tài)擺脫出來，從而加速網絡的收斂，解決了平臺現象。</p><p>　　Tawel等提出了一種動態(tài)調整溫度系數λ的方法。隨著溫度系數λ的減小，sigmoid函數的飽和區(qū)間

87、也變小，對網絡的收斂很有幫助。但是在網絡的學習初期，這樣的sigmoid函數同時也會減慢權值的調整，學習速度不會有明顯的提高。針對這種情況該方法讓溫度系數也隨著網絡的誤差的變化而做相應的調整，根據網絡目前的狀態(tài)取值，從而避免神經元的假飽和。</p><p>　　對激勵函數的修改并不只限于以上兩種方法。由于激勵函數對學習速度的影響主要體現在假飽和現象上，因此只要能夠克服假飽和現象就有可能提高學習速度。據此還可以做進

88、一步的研究，找出更多的滿足要求的激勵函數。</p><p>　　3.3.3改進優(yōu)化算法</p><p>　　經典的BP算法采用梯度下降法。當誤差曲面為窄長型時，該算法在谷的兩壁跳來跳去，影響了網絡的收斂速度。最普通的改進方法為附加動量法，將式（9）改為：</p><p><b>　　式中稱為動量因子。</b></p><p&

89、gt;　　利用附加的動量項可以起到平滑梯度方向的劇烈變化。更進一步可以在學習過程中動態(tài)地調整η和α的值，使η隨系統總誤差E不斷的變化，以避免出現⊿W取值過小，尤其是在接近系統最小值的時候。</p><p>　　實驗中發(fā)現，η越大，學習速度會越快，但過大時會引起振蕩效應；而α取的過大可能導致發(fā)散，過小則收斂速度太慢；η取0.2～0.5，α取0.90～0.98時有較快的收斂速度。動態(tài)調整η和α值，收到良好效果。<

90、;/p><p>　　根據優(yōu)化理論還有很多種優(yōu)化方法。這些方法一般都可以應用到改進BP算法中。例如同倫方法、梯度法、共軛梯度法以及牛頓法。事實證明采用較好的優(yōu)化方法可以提高網絡的收斂速度、避免陷入局部極小。尋求一種適合BP算法使用的新的優(yōu)化算法也是一個很有價值的研究課題。</p><p>　　第四章 手寫數字識別</p><p><b>　　4.1 模式識別&l

91、t;/b></p><p>　　手寫體數字識別是計算機模式識別領域的一個前沿課題。模式識別誕生于20世紀20年代，隨著40年代計算機的出現，50年代人工智能的興起，模式識別在20世紀60年代迅速發(fā)展成為一門學科，擴大了計算機應用的可能性。幾十年來，模式識別研究取得了大量的成果，也實現了很多成功的應用。</p><p>　　4.1.1模式和模式識別的概念</p><

92、p>　　我們在日常生活中經常進行模式識別的活動。比如說，我們能分別出桌子、椅子，很小的時候就能分辯出自己的父母，能夠聽出是誰的聲音，能夠進行正常的閱讀，這些都是我們習以為常的能力，在計算機出現以前，沒有人對此表現出驚奇，也沒有人注意到人類的模式識別能力是一個值得研究的課題。當計算機出現以后，人工智能開始發(fā)展，模式識別也隨之成為一個熱門課題，當科學家發(fā)現用機器實現人類的模式識別能力是如此麻煩時，人們才意識到這個問題的難度。</

93、p><p>　　“模式”（Pattern）這個詞的原意是指供模仿用的，完美無缺的標本，這是一個相當含蓄的定義，并且觸及了一些相當深奧的論題。在心理學中，模式識別是作為一個過程來定義的，通過這一過程，到達感覺器官的外界信號被轉換成有意義的感性經驗。簡單一點說，模式被理解成取自世界有限部分的單一樣本的被測量值的綜合；模式識別就是試圖確定一個樣本的類別屬性，即把某一樣本歸屬于多個類型中的某一類型。</p>&

94、lt;p>　　人們研究的目的就是實現機器的自動識別。這就需要把人們的知識和經驗教給機器，為機器定制一些規(guī)則和方法，并且讓機器具有綜合分析和自動分類的判斷能力，以便使機器能夠完成自動識別的任務。當機器學會自動識別后，可以完成人們自己難以完成的許多工作。因此，模式識別技術被廣泛地應用于人工智能、計算機工程、神經生物學、醫(yī)學、偵探學以及高能物理、考古學、地質勘探、宇航科學和武器技術等許多重要的領域，隨著高科技的迅速發(fā)展，模式識別技術必將

95、獲得更廣泛的應用，其基本理論和方法也會愈益豐富。</p><p>　　4.1.2模式識別系統的構成</p><p>　　有兩種基本的模式識別方法，即統計模式識別方法和結構（句法）模式識別方法，與此相應的模式識別系統都是有兩個過程（設計與實現）所組成。“設計”是指用一定數量的樣本（訓練集/學習集）進行分類器的設計?！皩崿F”是指用所設計的分類器對待識別的樣本進行分類決策?；诮y計模式識別的系統

96、主要由以下幾個部分組成：信息獲取、預處理、特征提取和選擇、分類決策，如圖4－1所示。</p><p><b>　　1．信息獲取</b></p><p>　　為了使計算機能夠對各種現象進行分類識別，要用計算機可以運算的符合來表示所研究的對象，通常輸入對象的信息有下列3種類型，即</p><p><b>　?。?）二位圖像</b&g

97、t;</p><p>　　如文字、指紋、地圖、照片這類對象。</p><p><b>　?。?）一維波形</b></p><p>　　如腦電圖、L1電圖、機械震動波形等。</p><p>　　（3）物理參量和邏輯值</p><p>　　前者如在疾病診斷中病人的體溫及各種化驗數據等；后者如對某參量正

98、常與否的判斷或對癥狀有無的描述，如疼與不疼，可用邏輯值即0和1表示。在引入模糊邏輯的系統中，這些還可以包括模糊邏輯值，比如很大、大、比較大等。</p><p>　　通過測量、采樣和量化，可以用矩陣或向量表示二維圖像或一維波形。這就是信息獲取的過程。</p><p><b>　　2．預處理</b></p><p>　　預處理的目的是去除噪聲，加強

99、有用的信息，并對輸入測量儀器或其它因素所造成的退化現象進行復原。</p><p><b>　　3．特征提取和選擇</b></p><p>　　由圖像或波形所獲得的數據量是相當大的。例如，一個文字圖像可以有幾千個數據，一個心電圖波形也可能有幾千個數據，一個衛(wèi)星遙感圖像的數據量就更大。為了有效地實現分類識別，就要對原始數據進行變換，得到最能反映分類本質的特征。這就是特征提

100、取和選擇的過程。</p><p><b>　　4．分類決策</b></p><p>　　分類決策就是在特征空間中使用統計方法把被識別對象歸為某一類別。基本做法是在樣本訓練集基礎上確定某個判決規(guī)則，使按這種判決規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小。</p><p>　　4.2手寫體數字識別</p><

101、p><b>　　4.2.1課題概述</b></p><p>　　手寫體數字識別是計算機模式識別領域的一個前沿課題。隨著信息化的發(fā)展， 手寫數字識別的應用需求將會更加廣泛。</p><p>　　文字是人們相互交流的主要工具，從圖的角度看，它是簡單的圖形；從技術上看，文字圖形的識別相對比較簡單，易于處理和分類。進行字符識別可完成諸如文本和數據的自動閱讀、語言處理和機

102、器翻譯、郵件自動分揀、識別銀行支票等復雜工作，極大的方便人們的生活。目前，文字識別一般是識別字母、數字、符號、漢字；按所識別的字體來分有印刷體文字識別、手寫體文字識別及符號的識別系統。本文主要介紹在手寫體數字識別中采用的方法和取得的結果。</p><p>　　一般來說, 字符識別系統主要包括圖象采集、信號預處理、特征抽取、分類識別等幾個部分。識別系統的識別方式可分為聯機手寫體字符識別、脫機印刷體字符識別和脫機手寫

103、體字符識別等, 其中脫機手寫體字符由于書寫者的因素,使其字符圖象的隨意性很大, 例如, 比劃的粗細、字體的大小、手寫體的傾斜度、字符比劃的局部扭曲變形、字體灰度的差異等都直接影響到字符的正確識別。所以手寫體字符的識別是字符識別領域內最具挑戰(zhàn)性的課題。在經濟、科技、社會生活各領域的信息傳遞中，各種通信、財金、科技等文件文本中有大量手寫體阿拉伯數字。為了不用手工敲鍵而能快速輸入計算機進行自動化處理，就要對手寫體數字進行計算機自動識別。<

104、;/p><p>　　4.2.2手寫體數字識別的主要方法</p><p>　　文字識別按其方法，大致可分為統計決策法、句法結構法、模糊決策法、人工智能法、模板匹配法等。下面對部分方法予以簡單介紹。</p><p><b>　　1．模板匹配法</b></p><p>　　模板匹配法即對每個待識別的類別所給出的識別標準是典型的標準

105、模板。此類方法的重點是規(guī)定各類模板的特征(例如規(guī)定模板中黑色面積值為特征) ，求得待識別樣本的特征值，并求出它與標準模板的差值，若差值小于規(guī)定的閾值(即與此模板“匹配”) 即判為屬于該模板相應的字。待識別樣本的特征可不止一個，它們可作為一個向量中的各元而組成特征向量。這類方法適宜印刷體符號、文字等的識別。</p><p><b>　　2．統計決策法</b></p><p&

106、gt;　　在有些識別問題中，不易給出一典型的模板，而只能給出一批彼此間有相當差異的模板(或稱學習字樣) ，用統計的方法推出識別標準，并根據它來判別類別，此稱為統計決策法。例如待識別的是手寫體數字7 和8 ，由于屬于手寫，可能出現多種形狀，將這些在變形范圍之內的字形搜集起來可以作為推出識別標準的資料，即供識別設備學習的樣本。</p><p><b>　　3．句法結構法</b></p>

107、;<p>　　句法方法，其識別標準是代表待識別對象的“符號串”之間的聯系規(guī)律，或稱為文法律。將字樣按照一定的規(guī)律作折線化處理，分解為有順序的折線段，并把每個折線段都附上一定的方向值，便可把字樣用符號串來表示。由于在書寫上有一定的變形，不同的符號串可能代表同一字類，所以要識別某一字類，便應了解所有代表此字的符號串之間所存在的聯系規(guī)則，即句法規(guī)律或文法律。</p><p><b>　　4．直接

108、邏輯法</b></p><p>　　對于有些識別問題，所給出的識別標準是一批特征值之間的分類條件式，根據這些條件式可以編制出供判決用的表格，再將此表化成一系列簡單的子表或與它們等效的能表示判決過程的判決樹，此即為直接邏輯法。根據子表系列或判決樹很容易編寫判決(識別) 所用的計算機程序，用以判類。</p><p><b>　　5．綜合識別法</b></

109、p><p>　　手寫數字多種識別方法的綜合是將不同識別方法的結果經某種算法進行綜合，以提高識別率和可靠率。</p><p>　　手寫數字綜合智能識別系統結構框圖如圖4－2所示。</p><p>　　圖4－2 　手寫數字綜合智能識別系統結構框圖</p><p>　　4.2.3手寫數字識別的一般方法及其難點</p><p>　

110、　字符識別問題的研究已有幾十年的歷史了，但時至今日，字符識別的研究成果遠未達到人們所期望的，這其中有理論研究和技術實現等多方面因素. 在理論方面，我們對人類的視覺認知機理的研究還只是初步的，遠未達到深入和透徹的水平。在技術方面，我們使用的計算機的運算水平和存儲能力， 比起人腦的信息存儲和處理能力有很大差距. 因此，目前的文字識別只能建立在現有的理論基礎上，使用現有的技術來研究和解決問題。手寫體數字識別是字符識別的一個分支，問題雖然簡單，

111、但卻有較大的實用價值。</p><p>　　數字的類別只有10 種，筆劃又簡單，其識別問題表面上是一個較簡單的分類問題。但實際上，雖然各種新的識別算法不斷的推出。其識別率和誤識率仍距實用有相當距離。手寫阿拉伯數字具有變形多差異大的特點，字形與書寫人的職業(yè)、文化程度、書寫習慣以及所使用筆墨紙張所處環(huán)境等都有關，所以手寫體數字變形多、規(guī)律復雜。具體地說： </p><p>　　1．0～ 9 十