基于神經(jīng)網(wǎng)絡(luò)的中文分詞算法的研究.pdf

1、漢語書寫時是按句連寫,詞間無間隙,容易讓人在句子的理解上產(chǎn)生偏差,這就給查詢信息、機器翻譯等工作造成了很大的困難:造成不相關(guān)結(jié)果的返回、找不到相關(guān)文檔、翻譯不準確等。所以為了解決這些問題就要對句中的詞語進行精確的切分。在對日常交流及其報刊雜志中所出現(xiàn)的各類語言現(xiàn)象進行深入分析研究后,本文對日常生活常見的典型歧義中所蘊含的語法現(xiàn)象進行了歸納總結(jié),建立了供詞性編碼使用的詞性代碼庫。以此為基礎(chǔ),利用神經(jīng)網(wǎng)絡(luò)的自組織、自學習的能力,達到對不同規(guī)

2、則歧義字段的精確切分。在樣本的選取上,本文所選樣本空間基本囊括了歧義字段的各典型類型。樣本訓練前,先把字段中所包含的語法規(guī)則轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)能夠接受的數(shù)據(jù)形式,將字段中的單詞依詞性代碼庫分別進行編碼;在對輸出結(jié)果所代表的含義進行解釋時,從切分的表示方式上,以大量訓練所得的輸出結(jié)點值為依據(jù)對切分點進行判斷。從而將字、詞或抽象語法規(guī)則通過代碼的表示方式與輸入神經(jīng)元對應,使切分方式與輸出神經(jīng)元相對應,找到了一個輸入、輸出邏輯概念到輸入、輸出模式