基于統(tǒng)計和語義信息的中文分詞算法研究.pdf

1、隨著中文分詞技術研究的不斷深入，如何實現(xiàn)分詞算法中語義信息的處理成為當今研究熱點之一。本文結合特定領域的領域性以及語義網(wǎng)本體的結構特點，對基于詞典的雙向最大匹配算法進行改進，提出基于統(tǒng)計和語義信息的中文分詞算法，并開發(fā)了中文分詞系統(tǒng)對該算法進行驗證，最后通過與NLPIR漢語分詞系統(tǒng)的分詞結果比較，實驗表明在特定領域本文提出的算法比傳統(tǒng)分詞方法有效。針對以上內容，本文主要做了以下五方面工作:
　　1.根據(jù)OWL標準構建一個平面幾何領

2、域本體。借助維基百科和語義相關度知識了解平面幾何領域概念知識以及層次結構，從中抽取30個領域術語，運用領域本體中的四種基本關系完成對術語之間關系的半自動標注和校對，構建起語義相關的數(shù)據(jù)庫，并完成對該領域本體的編輯管理。
　　2.提出一種基于統(tǒng)計規(guī)則的歧義消解算法?？紤]到歧義字段對切分精度的重大影響，在分析現(xiàn)有歧義處理方法的基礎上，總結規(guī)律發(fā)現(xiàn)問題，提出五條統(tǒng)計規(guī)則，并根據(jù)統(tǒng)計規(guī)則設計實現(xiàn)一種針對交集型歧義的處理算法。
　　3

3、.提出一種基于語義信息的中文分詞算法。該算法是對傳統(tǒng)的基于詞典的雙向最大匹配算法進行改進，通過構建平面幾何領域本體作為語義詞典來代替?zhèn)鹘y(tǒng)的中文分詞詞典，將待切分文本經過預處理后與本體中的詞條進行匹配，通過領域本體中術語之間的關聯(lián)關系來實現(xiàn)機械分詞對語義信息的處理，減少歧義字段，最終得到更準確的切分結果。
　　4.設計并實現(xiàn)基于統(tǒng)計和語義信息的中文分詞系統(tǒng)。該系統(tǒng)對本文提出的分詞算法進行了實現(xiàn)，設計系統(tǒng)整體框架并具體闡述框架中每個模