中文名詞短語(yǔ)識(shí)別研究.pdf

1、名詞短語(yǔ)是漢語(yǔ)中的一種重要的短語(yǔ)類型，名詞短語(yǔ)識(shí)別是自然語(yǔ)言處理領(lǐng)域中的一項(xiàng)基礎(chǔ)且重要的任務(wù)。其正確識(shí)別可以簡(jiǎn)化句子結(jié)構(gòu)、降低句法分析復(fù)雜度?；谏鲜雒~短語(yǔ)識(shí)別的重要性，本文提出了基于詞頻統(tǒng)計(jì)模型的名詞短語(yǔ)識(shí)別方法以及針對(duì)微博文本的基于條件隨機(jī)場(chǎng)模型的名詞短語(yǔ)識(shí)別方法，將統(tǒng)計(jì)與規(guī)則相結(jié)合，較好地完成了名詞短語(yǔ)的識(shí)別任務(wù)。
　　本文首先概述了名詞短語(yǔ)識(shí)別的概念、研究背景以及國(guó)內(nèi)外研究現(xiàn)狀，并對(duì)現(xiàn)有的方法進(jìn)行研究和分析。通過(guò)對(duì)目前主

2、流方法的學(xué)習(xí)，決定采用規(guī)則和統(tǒng)計(jì)相結(jié)合的方法進(jìn)行名詞短語(yǔ)識(shí)別。提出一種基于詞頻統(tǒng)計(jì)，計(jì)算名詞短語(yǔ)的共現(xiàn)頻率及構(gòu)詞可能性的閾值，識(shí)別漢語(yǔ)基本名詞短語(yǔ)的方法;根據(jù)詞在名詞短語(yǔ)中的不同角色，建立詞表，加入未登錄詞的處理、規(guī)則模板及糾錯(cuò)處理，最后對(duì)結(jié)果中出現(xiàn)的問(wèn)題進(jìn)行分析并提出可能的解決方案。此外，在分析上述實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，對(duì)于當(dāng)今熱門的微博文本進(jìn)行專項(xiàng)研究。提出一種基于條件隨機(jī)場(chǎng)模型的中文微博名詞短語(yǔ)識(shí)別方法，在對(duì)微博文本規(guī)范化處理基礎(chǔ)上，

3、標(biāo)記微博訓(xùn)練語(yǔ)料中的名詞短語(yǔ)，訓(xùn)練條件隨機(jī)場(chǎng)模型，加入微博名詞短語(yǔ)規(guī)則模板和停用詞表，識(shí)別微博測(cè)試文本中的名詞短語(yǔ)。
　　實(shí)驗(yàn)表明，本文提出的名詞短語(yǔ)識(shí)別方法是有效的。基于詞頻統(tǒng)計(jì)模型的名詞短語(yǔ)識(shí)別方法，對(duì)建立的詞頻統(tǒng)計(jì)模型進(jìn)行訓(xùn)練，并在測(cè)試文本上分別進(jìn)行實(shí)驗(yàn)，在引入未登錄詞處理、規(guī)則模板處理及糾錯(cuò)處理后，平均準(zhǔn)確率、召回率及F值分別為91.28％、93.22％和92.24％。在對(duì)微博文本的識(shí)別實(shí)驗(yàn)中，選取適合微博文本的條件隨機(jī)場(chǎng)