基于K最短路徑的中文分詞算法研究與實現(xiàn).pdf

1、中文分詞處于詞法、句法、語義等語言層次的最底層。它是中文自然語言處理的一項基礎(chǔ)性工作，也是中文信息處理領(lǐng)域的一項基礎(chǔ)性課題，它是搜索引擎、自動翻譯、語音識別、信息檢索、自動分類、自動文摘、文本的自動校對以及數(shù)據(jù)挖掘等技術(shù)的重要組成部分，是直接影響中文信息處理技術(shù)發(fā)展的技術(shù)瓶頸。 本文首先闡述了中文分詞的研究背景與意義，對中文分詞的國內(nèi)外研究現(xiàn)狀進(jìn)行了分析，詳細(xì)講述了基于字符串匹配、統(tǒng)計和理解的三種典型中文分詞方法，并對每種方法的

2、優(yōu)缺點進(jìn)行了簡要的概括，分析了幾種中文分詞相關(guān)的算法模型，并在分詞規(guī)范、歧義識別、未登錄詞識別等方面總結(jié)了阻礙中文分詞發(fā)展的幾種主要技術(shù)難題。 然后，本文對中科院漢語詞法分析系統(tǒng)ICTCLAS的N—最短路徑粗分模型算法進(jìn)行了分析研究，并對該系統(tǒng)所生成的特殊有向圖的特點和存儲結(jié)構(gòu)進(jìn)行了描述。本文基于該中文分詞系統(tǒng)生成的有向圖，提出了S—EK最短路徑算法模型，同時對該算法時間復(fù)雜度進(jìn)行了分析。 本文最后對S—EK最短路徑算法