鄭州電視臺中文自動分詞系統(tǒng)研究與實現(xiàn).pdf

1、如今的互聯(lián)網(wǎng)社會網(wǎng)絡化和信息化程度逐步提高，互聯(lián)網(wǎng)上的中文信息量正以幾何級的速度提高。據(jù)統(tǒng)計，這些信息量在總信息量中的比重達到80％以上。它們的自動輸出和輸入，文本的分類和?？保畔⒌臋z索和提取以及語言的翻譯等信息工程，都是企業(yè)信息化建設和國民經(jīng)濟的重要基礎。因此，中文信息處理技術已成為重要的計算機應用技術，受到了各方面的高度重視。
　　中文信息處理可大致分為四個層面：字處理、詞處理、句處理、篇章處理。按字處理雖然具有方法容易的優(yōu)

2、點，但處理效率偏低，時空開銷偏大。而詞作為能獨立活動的、最小的、有意義的語言成分，對其處理可提高工作效率。所以，按詞處理技術占有很大優(yōu)勢，當前中文信息處理的主目標已從“字處理”轉移到“詞處理”。
　　眾所周知，中文與西文不同，中文規(guī)則是按句連寫，詞間沒有明顯的分隔符。因而中文文本處理中的突出問題是詞的切分問題，將按句連寫轉換成按詞連寫，詞的正確切分成為進行中文文本處理的必要條件，是進行基于詞一級的語言處理應用不可逾越的第一步。因此