結(jié)合機器學(xué)習(xí)方法的命名實體識別研究.pdf

1、命名實體識別是目前自然語言處理研究的熱點問題。MUC(MessageUnderstandingConferences)對命名實體的定義是：人們感興趣的專有名詞和特定的數(shù)量詞，它一般可分為：人名、地名、組織機構(gòu)名、日期等類型。命名實體識別是信息抽取的一個子任務(wù)，被廣泛地運用到其他計算語言學(xué)任務(wù)中，比如機器翻譯等。 與大多數(shù)自然語言處理技術(shù)一樣，命名實體識別的方法主要分為兩大類：基于規(guī)則(rule-based)的方法和基于統(tǒng)計(st

2、atistic-based)的方法。鑒于單獨采用基于統(tǒng)計方法或基于規(guī)則方法的缺陷，在這篇論文中，采用了統(tǒng)計與規(guī)則相結(jié)合的方法來識別命名實體。為了使系統(tǒng)具有學(xué)習(xí)能力，我們把機器學(xué)習(xí)方法應(yīng)用于中文命名實體的識別，這里我們著重研究了機器學(xué)習(xí)中的決策樹方法在中文命名實體識別中的應(yīng)用；設(shè)計了一種基于決策樹的識別模式，該模式首先利用概率統(tǒng)計方法，在文本中盡量完備地識別出潛在的命名實體，然后利用潛在命名實體相關(guān)的上下文詞法、語法和語義特征作為屬性構(gòu)建

3、決策樹，否定不正確的實體，進一步提高了命名實體識別的準確率。 應(yīng)用以上方法，本文主要對中文命名實體中的人名和地名識別進行了較為深入的研究。實驗結(jié)果表明，與單純基于統(tǒng)計和單純基于規(guī)則的命名實體識別方法相比，本文所采用的統(tǒng)計和規(guī)則相結(jié)合的方法具有更加理想的識別精度；在同樣的實驗條件下，即同樣的訓(xùn)練語料和測試語料的條件下，結(jié)合機器學(xué)習(xí)方法的命名實體識別系統(tǒng)構(gòu)造簡單，并且具有良好的適應(yīng)性和一定的自我學(xué)習(xí)的能力。 本文具體主要分為