中文詞性標(biāo)注的研究與實(shí)現(xiàn).pdf

1、隨著信息檢索和自然語(yǔ)言處理的發(fā)展，在信息檢索中引入自然語(yǔ)言處理技術(shù)是信息檢索發(fā)展的重要趨勢(shì)之一，而詞性標(biāo)注作為自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)，可以提高信息檢索的效果和效率，因此在信息檢索領(lǐng)域有著非常重要的作用。因此，本文圍繞詞性標(biāo)注對(duì)其中的關(guān)鍵問(wèn)題進(jìn)行了系統(tǒng)研究，并著重實(shí)現(xiàn)一個(gè)詞性標(biāo)注系統(tǒng)。 本文首先對(duì)詞性標(biāo)注的基礎(chǔ)技術(shù)——中文分詞作了系統(tǒng)的研究。中文分詞模塊采用了逆向最人匹配作為基本分詞方法，結(jié)合規(guī)則和統(tǒng)計(jì)的方法解決分詞歧義問(wèn)題，并對(duì)

2、中文姓名和高頻未登錄詞分別采用相應(yīng)策略進(jìn)行識(shí)別，所設(shè)計(jì)和實(shí)現(xiàn)的中文分詞系統(tǒng)具有較高的分詞準(zhǔn)確率和較快的分詞速度，可以為詞性標(biāo)注提供良好的基礎(chǔ)。 本文主要對(duì)基于統(tǒng)計(jì)的詞性標(biāo)注技術(shù)進(jìn)行了研究，所實(shí)現(xiàn)詞性標(biāo)注系統(tǒng)主要通過(guò)隱馬爾可大模型對(duì)訓(xùn)練語(yǔ)料庫(kù)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，獲取所需詞性和詞匯概率信息，并采用Viterbi算法進(jìn)行標(biāo)注。針對(duì)訓(xùn)練語(yǔ)料庫(kù)規(guī)模較小導(dǎo)致的數(shù)據(jù)稀疏的問(wèn)題，運(yùn)用了簡(jiǎn)單而高效的Katz算法進(jìn)行數(shù)據(jù)平滑處理，有效地避免了因數(shù)據(jù)稀疏導(dǎo)