面向微博文本的命名實體識別.pdf

1、命名實體識別是自然語言處理領域的重點研究方向之一，是信息抽取、信息檢索、信息過濾、問答系統(tǒng)、機器翻譯等多種自然語言處理技術必不可少的組成部分。近幾年，隨著微博的興起與發(fā)展，微博文本作為命名實體識別新的載體，逐漸得到越來越多相關研究人員的重視。由于微博文本與傳統(tǒng)文本在表達形式上具有很大差別，使得傳統(tǒng)的命名實體識別方法在微博文本上面臨新的挑戰(zhàn)。因此研究面向微博文本的命名實體識別能促進自然語言處理技術在微博等新媒體上的發(fā)展，具有重要的理論意義

2、和應用價值。
　　本文主要研究面向微博文本的以人名、地名、機構名為核心的中文命名實體識別相關技術。微博文本由于自身的特點，其內部隱藏著大量可供命名實體識別使用的重要信息。本文首先通過比較微博文本與傳統(tǒng)文本的區(qū)別，挖掘出微博文本自身的結構與內容上的特點；對有利于命名實體識別的標簽、評論轉發(fā)等特點加以利用，對不利于命名實體識別的語言不規(guī)范、簡稱、代稱等特點通過統(tǒng)計的方法加以克服。在此基礎上，本文提出了一種基于統(tǒng)計與規(guī)則相結合的命名實體

3、識別的方法。該方法在分詞的基礎上，通過構建好的常用字詞表進行常用字詞過濾，再利用統(tǒng)計的方法對微博文本的評論轉發(fā)內容進行統(tǒng)計分析，最后配合使用命名實體邊界規(guī)則信息進行命名實體的識別。通過實驗表明，該方法對于微博文本中的命名實體識別達到了一定的精度，在對2013年5月份的30000條微博文本語料上進行測試，命名實體識別的F值可以達到97.93％。與傳統(tǒng)文本相比，微博文本在文本長度、文本質量等方面都有較大差距，而與傳統(tǒng)文本中命名實體識別相比，