基于視覺特征的Web信息抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的不斷發(fā)展及其應(yīng)用的深入，Web儼然已經(jīng)成為全球最大的虛擬資料庫，可用的信息正呈指數(shù)級(jí)增長。如何有效地利用這些信息成為人們的重要研究課題，因此出現(xiàn)了大量以Web作為信息源的技術(shù)和應(yīng)用，其中Web的信息抽取技術(shù)在近年來引起了越來越多的研究者的關(guān)注。 由于Web頁面的內(nèi)容缺乏嚴(yán)格規(guī)范的語法結(jié)構(gòu)，尤其是半結(jié)構(gòu)化頁面，所以傳統(tǒng)的自然語言處理技術(shù)并不能很好地適用于Web信息抽取，另外Web頁面被瀏覽器識(shí)別、解釋和顯

2、示并供用戶查看和理解，其中包含了大量的視覺特征，如果把Web頁面的這種視覺信息應(yīng)用于信息抽取，就可以避免使用復(fù)雜的語言學(xué)知識(shí)。因此，如何將基于自然語言理解方式和Web頁面的視覺特征有效地結(jié)合起來克服各自的缺點(diǎn)，混合使用各種方法進(jìn)行信息抽取是本文研究的重點(diǎn)。 本文結(jié)合自然語言處理技術(shù)和HTMI，頁面視覺特征在信息抽取中的應(yīng)用，進(jìn)行了以下研究工作： 1．提出了一種基于視覺特征的數(shù)據(jù)區(qū)域抽取(DREV)算法。該方法利用自然語言

3、處理中命名實(shí)體識(shí)別技術(shù)對(duì)文檔進(jìn)行標(biāo)注來提供簡(jiǎn)單的語義信息，然后在此基礎(chǔ)上根據(jù)網(wǎng)頁的視覺特征規(guī)則，使用對(duì)塊的實(shí)體密度(Entity Density)分析，確定待抽取的數(shù)據(jù)區(qū)域。 2．提出了一種基于約束滿足的記錄抽取(RECS)算法。該方法對(duì)數(shù)據(jù)區(qū)域內(nèi)的實(shí)體進(jìn)行進(jìn)一步分析，并借鑒約束滿足問題(CSP)的思想，提出針對(duì)半結(jié)構(gòu)化頁面的信息抽取的約束規(guī)則，對(duì)實(shí)體進(jìn)行分類和提取。 3．研究了Sheffield大學(xué)的自然語言處理平臺(tái)G