改進的BP-HMM及其在漢語詞性標注中的應(yīng)用研究.pdf

1、詞性是詞匯的最基礎(chǔ)的屬性,它不僅為句法、語法分析提供了相應(yīng)的知識基礎(chǔ),同時也為諸如詞性標注等自然語言任務(wù)提供了有利的判定信息。詞性標注的主要任務(wù)是對連續(xù)的詞匯串中的詞匯的詞性進行標注,由于其在自然語言處理領(lǐng)域具有非常重要的地位,所以具有比較廣泛的研究背景。
　　詞性標注的標注結(jié)果對于自然語言任務(wù)的眾多語言任務(wù)的精確度起到了決定性作用,目前主要利用統(tǒng)計學(xué)模型和建立語言規(guī)則庫的方法對詞性標注的結(jié)果進行改進。其中利用隱馬爾科夫模型(Hi

2、dden Markov Model,HMM)方法進行詞性標注的方法是基于統(tǒng)計學(xué)模型的詞性標注方法中比較常用的。由于漢語語言學(xué)的存在著一些獨特的語法特性,在使用HMM在詞性標注的標注過程中,經(jīng)常出現(xiàn)了包括模型的數(shù)據(jù)稀疏、兼類詞歧義以及未登錄詞等諸多問題。在不斷地對HMM的研究過程中,眾多學(xué)者相繼提出了利用神經(jīng)網(wǎng)絡(luò)、規(guī)則庫以及有限狀態(tài)機等方法與傳統(tǒng)HMM相結(jié)合而演化成的新的詞性標注方法,這些方法都在一定程度上優(yōu)化了詞性標注系統(tǒng)的標注結(jié)果。<

3、br>　　本論文首先在研究了傳統(tǒng)的統(tǒng)計模型與神經(jīng)網(wǎng)絡(luò)對漢語的詞性標注過程后,分析了BP網(wǎng)絡(luò)與傳統(tǒng)隱馬爾科夫模型在詞性標注領(lǐng)域的特點,提出了一種新的模型:負反饋-隱馬爾科夫模型(Back Propagation-Hidden Markov Model, BP-HMM)。BP-HMM模型可以充分地利用上下文信息,輔助詞性標注系統(tǒng)進行詞性標注任務(wù)。其次,由于目前傳統(tǒng)平滑算法不能滿足新模型的數(shù)據(jù)平滑需要,因此針對模型的特點和特性選取刪除插值法進

4、行優(yōu)化對模型的狀態(tài)轉(zhuǎn)移矩陣進行平滑處理,并調(diào)整模型的觀察概率矩陣。同時,將經(jīng)過BP網(wǎng)絡(luò)建立的語法規(guī)則庫加入未登錄詞處理辦法中,利用規(guī)則庫有效的處理未登錄詞的標注問題。
　　本文從北大的1998年《人民日報》標注語料庫中抽取訓(xùn)練語料,在復(fù)旦大學(xué)開源自然語言處理系統(tǒng)fudannlp的基礎(chǔ)上,利用JAVA在Eclipse平臺上實現(xiàn)對負反饋-隱馬爾科夫模型的訓(xùn)練學(xué)習(xí),經(jīng)過語料庫預(yù)處理、平滑處理以及未登錄詞處理等操作,最后對Viterbi算