基于網(wǎng)頁分塊的Web信息抽取技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,Web信息呈現(xiàn)出指數(shù)級的增長,WWW中蘊(yùn)含了海量的信息可供我們利用。但是,人們想要獲取一條需要的信息就變得非常困難。如何準(zhǔn)確、快速的檢索所需信息,成為有待解決的問題。搜索引擎的出現(xiàn)部分緩解了信息搜索的問題,其結(jié)果并不能令人滿意。Web信息抽取正是順應(yīng)網(wǎng)絡(luò)發(fā)展以及人們對于信息需求的要求不斷提高而出現(xiàn)的。它為Web數(shù)據(jù)挖掘、新一代搜索引擎、面向?qū)I(yè)領(lǐng)域的垂直搜索、Deep Web數(shù)據(jù)集成、QA自動問答等系統(tǒng)提供了巨

2、大的數(shù)據(jù)支持。 本文從實(shí)現(xiàn)技術(shù)角度,研究了具有代表性的Web信息抽取系統(tǒng),總結(jié)了各個抽取系統(tǒng)的特點(diǎn),針對其頁面解析能力弱、適應(yīng)性不強(qiáng)等不足之處,形成本文的研究目標(biāo),即建立一個與頁面表達(dá)的領(lǐng)域無關(guān)、頁面解析能力較強(qiáng)的Web信息抽取系統(tǒng)-WINE(Web Information Extraction的縮寫)。該系統(tǒng)充分利用Web頁面的位置特征、布局特征、外觀特征和內(nèi)容特征,以頁面分塊作為數(shù)據(jù)抽取的基礎(chǔ),以編輯距離作為相似度計算模型。

3、 本文總結(jié)了建立WINE系統(tǒng)的四個方面的工作：第一,頁面解析,根據(jù)Web信息抽取系統(tǒng)對頁面解析的要求,利用瀏覽器控件對Web頁面進(jìn)行解析,解決了頁面標(biāo)記的容錯、Javascript和CSS復(fù)雜腳本解析等問題；第二,頁面分塊,利用VIPS算法對Web頁面按其語義進(jìn)行頁面分塊,通過細(xì)粒度劃分,有效的對數(shù)據(jù)記錄進(jìn)行分割；第三,數(shù)據(jù)區(qū)域定位,利用Web頁面位置特征,提出一種高效的自頂向下的數(shù)據(jù)區(qū)域塊定位方法；第四,結(jié)合Web頁面塊布局等