文本自動分詞方法研究.pdf

1、漢語分詞是中文信息處理的基礎(chǔ)，它是由計算機自動識別文本中的詞邊界的過程。從計算機處理過程上看，分詞系統(tǒng)輸入的是連續(xù)的字符串(C1C2C3……Cn)，輸出的是漢語的詞串(W1W2W3……Wm)，這里，Wi可以是單字詞也可以是多字詞。然而，由于漢語文本和英文文本這兩種語言自身的書寫方式不同，英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述一個意思，詞與詞之間并沒有明確的分隔標記，而是連續(xù)的漢字串。

2、隨著計算機技術(shù)的發(fā)展，對于計算機的文本處理能力提出了更高的要求，諸如智能拼音語句輸入、手寫和語音自動識別輸入；文章的校對；簡體和繁體中文的自動轉(zhuǎn)換；信息檢索和信息摘錄；文本分類和自動文摘；語音合成；自然語言的理解和自動翻譯；自然語言接口等。而所有這些中文處理功能都要建立在對漢語文本的分詞處理這一基本功能之上。 本文首先闡述了漢語自動分詞研究的現(xiàn)實性和可能性，接著介紹其研究現(xiàn)狀，并扼要評價了十幾年來產(chǎn)生的各種方法，圍繞該研究中的其