基于HMM的單字估價(jià)值的中文自動(dòng)分詞研究.pdf

1、隨著計(jì)算機(jī)應(yīng)用領(lǐng)域的日益廣泛以及信息處理技術(shù)水平的不斷提高，自然語(yǔ)言信息處理技術(shù)一直倍受關(guān)注，如何提高計(jì)算機(jī)對(duì)自然語(yǔ)言的理解對(duì)計(jì)算機(jī)技術(shù)的發(fā)展有著非常重要的意義。由于中文自動(dòng)分詞是文本校對(duì)、信息檢索、語(yǔ)音識(shí)別、文本挖掘、機(jī)器翻譯等研究的前提和基礎(chǔ)，所以中文自動(dòng)分詞已經(jīng)成為自然語(yǔ)言信息處理技術(shù)的基礎(chǔ)及核心工作。
　　 由于漢語(yǔ)句子構(gòu)成的多變性和復(fù)雜性，中文自動(dòng)分詞已經(jīng)是中文信息自動(dòng)處理的“瓶頸”。中文文字的處理與西文文字的處理相比

2、，一個(gè)明顯的不同，就是漢語(yǔ)詞與詞之間沒(méi)有明顯的分隔標(biāo)記。因此中文信息處理的首要問(wèn)題，就是要將句子中一個(gè)個(gè)詞給分離出來(lái)，這就是中文分詞問(wèn)題。
　　 本課題研究的主要內(nèi)容，關(guān)鍵技術(shù)及創(chuàng)新點(diǎn)主要有以下幾個(gè)方面：
　　 首先，本課題研究從單字在詞中構(gòu)詞位置的角度進(jìn)行思考，從而把分詞過(guò)程視為單字在詞中構(gòu)詞位置問(wèn)題。基于大規(guī)模語(yǔ)料進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)出單字在詞中各個(gè)位置的概率，形成單字估價(jià)值字典，為分詞奠定基礎(chǔ)。這種處理方法也是本課題研究

3、的創(chuàng)新思想之一。由于漢語(yǔ)中詞中字的個(gè)數(shù)主要集中四字詞以內(nèi)，五字以上的詞相對(duì)較少，所以本項(xiàng)研究主要針對(duì)四字以內(nèi)詞中字的位置進(jìn)行統(tǒng)計(jì)單字估價(jià)值。
　　 其次，隱馬爾科夫模型的基本理論中要解決三個(gè)基本問(wèn)題，其中第二問(wèn)題是解碼問(wèn)題，把解碼問(wèn)題轉(zhuǎn)化為分詞問(wèn)題。解決解碼問(wèn)題的Viterbi算法能夠找到最佳解，其思想精髓在于將全局最佳解的計(jì)算過(guò)程分解為階段最佳解的計(jì)算。利用單字估價(jià)值字典對(duì)待切分句子中各字按Viterbi思想進(jìn)行估價(jià)，然后回溯

4、切分，這樣做的一個(gè)重要優(yōu)勢(shì)在于，它能夠平衡地看待詞表詞和未登錄詞的識(shí)別問(wèn)題。從而能更好的解決未登錄詞問(wèn)題和大部分歧義問(wèn)題。這是本課題研究創(chuàng)新思想之二。
　　 最后，隱馬爾科夫模型要解決的第三個(gè)問(wèn)題就是學(xué)習(xí)問(wèn)題，根據(jù)初步切分的結(jié)果進(jìn)行分析，對(duì)錯(cuò)誤切分結(jié)果進(jìn)行規(guī)模性機(jī)器學(xué)習(xí)。學(xué)習(xí)字在詞中的位置特征，把初始統(tǒng)計(jì)的單字估價(jià)值作為初始切分參數(shù)，然后建立調(diào)整參數(shù)模型，使計(jì)算機(jī)反復(fù)學(xué)習(xí)調(diào)整，優(yōu)化單字估價(jià)值字典中估價(jià)值參數(shù)，調(diào)整后再進(jìn)行切分。機(jī)