基于詞典的中文分詞技術研究.pdf

1、隨著現(xiàn)代信息技術的發(fā)展，自動分詞技術已經(jīng)廣泛應用在信息檢索、信息抽取、機器翻譯、語音合成等自然語言處理領域，同時結合中文文本的特點，自動分詞技術的研究已經(jīng)成為中文信息處理的一項基礎性課題。中文分詞技術主要研究將待處理文本利用分詞算法切分成詞，便于計算機對文本信息進行處理、理解和傳遞。在實現(xiàn)分詞的過程中，主要難點是歧義處理和未登錄詞識別。本文結合現(xiàn)有相關分詞技術理論與實現(xiàn)的方法，通過最大匹配算法與詞頻統(tǒng)計算法的結合，對中文文本分詞技術進行

2、深入研究與實踐。
　　 本文在傳統(tǒng)單一詞典基礎上，將其分為特征詞典和基本詞詞典兩部分，優(yōu)化分詞詞典中對于詞條的存儲結構；采用雙字哈希索引結構，將詞典中的詞按前兩個字為索引關建字進行存儲，提高匹配查找的速度和準確率；增加對姓名、專屬名詞、地名和數(shù)量詞切分準確性，提高分詞系統(tǒng)的性能指標。同時，在分詞算法上，主要采用正向與反向最大匹配分詞結合的雙向分詞，將雙向匹配所產(chǎn)生的歧義字段應用詞頻信息進行判斷，完成對詞語間歧義和未登錄詞的處理。