中文短文本命名實體識別方法研究.pdf

1、隨著BBS,聊天室,即時通訊軟件,手機短信等這些短文本在Internet信息流中日益突出的地位,人們迫切需要一些自動化工具幫助進行短文本海量信息處理。短文本命名實體識別是短文本處理中必不可少的關(guān)鍵技術(shù),具有重要的研究意義。迄今為止,據(jù)我們所知,尚無人進行該方面的研究,所以,它也是一項急需解決的緊迫任務。
　　 短文本命名實體識別主要存在下述兩個問題:
　　 首先,現(xiàn)有的命名實體識別方法不適合短文本命名實體識別。如何依據(jù)已

2、有的命名實體識別方法,結(jié)合短文本自身的特性,探尋出適用于短文本的命名實體識別方法成為急需解決的重要問題。
　　 其次,短文本組織名的識別效率低下問題。如何提高短文本組織名識別成為短文本命名實體識別的一個重要問題。
　　 針對第一個問題,提出了一種面向短文本的快速有效的命名實體識別方法。該方法主要分成三步:第一步,針對短文本表達不規(guī)范特性對命名實體識別的干擾,采取去干擾字符,化繁為簡等規(guī)范化操作。第二步,針對短文本語意不完

3、整特性,提出用HMM(隱馬爾可夫模型)以詞性做觀察值,通過Viterbi算法進行初步命名實體識別。第三步,據(jù)初步識別結(jié)果,構(gòu)建拼音同指關(guān)系庫來識別潛在實體。實驗表明,該方法能較好的進行短文本命名實體識別。
　　 針對第二個問題,提出了一種利用實體關(guān)系識別短文本組織名的方法。該方法主要分成三步:第一步,改進樸素貝葉斯分類器為關(guān)系分類器,對文本標注關(guān)系類別標簽。第二步,標簽不為0:根據(jù)實體關(guān)系類別和文本中存在的人名,地名情況,判定文