已閱讀1頁,還剩63頁未讀, 繼續(xù)免費閱讀
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、中文分詞是中文信息處理的前置過程,其任務是使用機器自動識別中文文本中的詞邊界。中文分詞的幾個關鍵問題分別是:語料庫的建設、分詞歧義消解以及未登錄詞識別。本文主要研究分詞歧義消解問題,并針對分詞系統(tǒng)的反饋問題,提出了基于統(tǒng)計規(guī)則的分詞算法。
基于詞典的機械匹配是分詞處理的首要環(huán)節(jié),而詞典的結構對詞語匹配速度有很大的影響。針對首字哈希、雙字哈希等詞典結構不可避免地需要進行二分查找,從而影響匹配速度的問題,本文提出了全哈希前綴樹
2、的詞典結構,將詞語匹配的時間復雜度降低為O(N),其中N是詞語的平均長度。實驗表明,該詞典結構的詞語匹配速度是首字哈希結構的5倍以上。統(tǒng)計排歧方法不可避免地受到語料庫質量和平衡性的影響,不能覆蓋一些特殊情況。因此本文提出了一種切分規(guī)則,對分詞系統(tǒng)不能正確切分的情況,允許用戶通過編寫切分規(guī)則的方式給分詞系統(tǒng)提供反饋信息,校正分詞錯誤。同時將詞語匹配、切分規(guī)則匹配和統(tǒng)計排歧過程統(tǒng)一在一個算法中。這種基于統(tǒng)計規(guī)則的分詞算法其時間復雜度是O(M
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 規(guī)則與統(tǒng)計相結合的中文分詞方法研究.pdf
- 基于統(tǒng)計的中文自動分詞.pdf
- 統(tǒng)計與規(guī)則相結合的中文分詞模型設計與實現.pdf
- 基于統(tǒng)計學習的中文分詞方法的研究.pdf
- 基于統(tǒng)計和語義信息的中文分詞算法研究.pdf
- 基于規(guī)則的中文地址分詞與匹配方法.pdf
- 規(guī)則和統(tǒng)計相結合的分詞算法.pdf
- 一個基于詞典與統(tǒng)計的中文分詞算法.pdf
- 詞典與統(tǒng)計相結合的中文分詞的研究.pdf
- 基于概念的中文分詞模型研究.pdf
- 基于統(tǒng)計學習的中文分詞改進及其在面向應用分詞中的應用.pdf
- 統(tǒng)計全切分中文分詞系統(tǒng)的研究與實現.pdf
- 基于Lucene的中文分詞技術研究.pdf
- 基于詞典的中文分詞歧義算法研究.pdf
- 基于主動學習的中文分詞方法研究.pdf
- 基于CRF的中文分詞研究與實現.pdf
- 基于詞典的中文分詞技術研究.pdf
- 基于條件隨機場的中文分詞研究.pdf
- 基于詞典的中文分詞歧義算法研究
- 基于無詞庫的中文分詞方法的研究.pdf
評論
0/150
提交評論