基于規(guī)則的Web文本信息抽取技術(shù)的研究.pdf

1、隨著因特網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)上信息成幾何級(jí)數(shù)增長(zhǎng)，如何自動(dòng)處理這些海量聯(lián)機(jī)文本信息成為目前重要的研究課題。文本信息抽取是指從一段文本中抽取指定的信息（例如事件、事實(shí)），并將其形成結(jié)構(gòu)化的數(shù)據(jù)填入數(shù)據(jù)庫(kù)中供用戶查詢(xún)使用的過(guò)程。
　　本文實(shí)現(xiàn)的是中文命名實(shí)體識(shí)別及關(guān)系抽取系統(tǒng)。命名實(shí)體識(shí)別是實(shí)體關(guān)系抽取的基礎(chǔ)。實(shí)體關(guān)系抽取是信息抽取中的一個(gè)重要研究課題，其任務(wù)是尋找并判定實(shí)體對(duì)之間存在的特定關(guān)系。實(shí)體關(guān)系抽取作為一項(xiàng)基礎(chǔ)性研究，對(duì)于信

2、息檢索、問(wèn)答系統(tǒng)、信息過(guò)濾、自動(dòng)文摘、機(jī)器翻譯以及數(shù)字圖書(shū)館建設(shè)有重要的研究意義。當(dāng)前實(shí)體關(guān)系抽取的主要技術(shù)有基于知識(shí)庫(kù)的抽取方法、基于特征向量的機(jī)器學(xué)習(xí)方法、基于核函數(shù)的機(jī)器學(xué)習(xí)方法，基于模式的Bootstrapping方法。
　　本文采用了隱馬爾可夫模型（Hidden Markov Models,HMM）與具有優(yōu)先規(guī)則提取相結(jié)合的方法進(jìn)行中文命名實(shí)體識(shí)別。整個(gè)識(shí)別過(guò)程可以分為兩個(gè)步驟，首先使用隱馬爾可夫模型進(jìn)行詞性標(biāo)注，然后利

3、用具有優(yōu)先級(jí)別的匹配規(guī)則對(duì)第一步的結(jié)果進(jìn)行修正和轉(zhuǎn)換。二者的有機(jī)結(jié)合使得系統(tǒng)性能有了很大的提高。采用兩種基于特征向量的機(jī)器學(xué)習(xí)算法，Winnow和支持向量機(jī)（SVM），在ACE評(píng)測(cè)的訓(xùn)練數(shù)據(jù)上進(jìn)行實(shí)體關(guān)系抽取實(shí)驗(yàn)。兩種算法都進(jìn)行適當(dāng)?shù)奶卣鬟x擇，當(dāng)選擇每個(gè)實(shí)體的左右兩個(gè)詞為特征時(shí)，達(dá)到最好的抽取效果，Winnow和SVM算法的加權(quán)平均F-Score分別為73.08％和73.27%。可見(jiàn)在使用相同的特征向量，不同的學(xué)習(xí)算法進(jìn)行實(shí)體關(guān)系的識(shí)別