中文時間表達式識別研究.pdf

1、隨著信息處理技術(shù)的飛速發(fā)展,命名實體識別技術(shù)越來越多的受到人們的關(guān)注。本文所研究的時間表達式識別,就是命名實體識別領(lǐng)域一項基礎(chǔ)而重要的任務(wù)。
　　時間表達式在自然語言處理領(lǐng)域有著非常廣泛的應(yīng)用。在主題檢測與跟蹤任務(wù)中,可以用時間來定位事件發(fā)生的先后順序;在自動問答系統(tǒng)中,可以用來回答和時間相關(guān)的問題,如“多久,何時”;在機器翻譯任務(wù)中,時間順序的定位可以讓譯文更加通順易讀;甚至在網(wǎng)頁結(jié)構(gòu)分析方面,也有研究利用時間表達式特征提高網(wǎng)頁

2、分析精度。
　　時間表達式識別技術(shù)主要分為兩類:基于機器學習的序列標注方法和基于規(guī)則的方法。本文分別對這兩類方法進行了深入而細致的研究。
　　對于序列標注方法,本文介紹了目前主流的有監(jiān)督學習模型:條件最大熵和條件隨機場,并且分別使用兩種模型實現(xiàn)了完整的中文時間表達式識別系統(tǒng)。實驗結(jié)果顯示,雖然序列標注方法在命名實體識別領(lǐng)域占據(jù)主流地位,但是對于時間表達式識別任務(wù),基于條件最大熵模型構(gòu)建的系統(tǒng)F-score達到79.1％,基于

3、條件隨機場模型構(gòu)建的系統(tǒng)F-score達到79.5％,兩者都無法很有效的完成時間表達式識別任務(wù)。
　　目前,時間表達式識別領(lǐng)域,最為廣泛使用的仍然是經(jīng)典的基于規(guī)則的方法,本文也針對基于規(guī)則的方法進行了深入的探索。首先,構(gòu)建人工規(guī)則庫:然后,為了提高召回率,解決人工消耗問題,設(shè)計了基于訓練語料自動學習規(guī)則的時間表達式識別算法,這樣做充分利用了訓練語料中大量的已標注信息;接著,為了提高正確率,本文又結(jié)合錯誤驅(qū)動思想進行規(guī)則剪枝,削減了

4、規(guī)則自動學習過程所帶來的“噪聲”;最終,為了進一步提高系統(tǒng)整體識別性能,提出“時間基元”概念,并將自然語言處理領(lǐng)域中的分詞技術(shù)應(yīng)用到“時間基元”規(guī)則的構(gòu)建中來,實驗結(jié)果顯示,該算法顯著的提高了時間表達式識別的整體性能。
　　“自動構(gòu)建時間基元規(guī)則庫”算法是本文的主要創(chuàng)新工作,它是一種基于正則文法的時間表達式識別算法:它基于“時間基元”進行規(guī)則構(gòu)建,提高了時間表達式識別的召回率;同時使用基于錯誤驅(qū)動思想的規(guī)則剪枝算法,提高了識別的正