基于Hadoop的Deep Web查詢結(jié)果自動(dòng)抽取研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與廣泛應(yīng)用,網(wǎng)絡(luò)提供給用戶的資源與日俱增。特別是不能被傳統(tǒng)搜索引擎通過靜態(tài)鏈接而獲取的海量信息資源規(guī)模增長(zhǎng)顯著,這部分資源稱為深層網(wǎng)(Deep Web)。關(guān)于Deep Web的研究,是近年來(lái)Web數(shù)據(jù)管理方向的研究熱點(diǎn)。
　　Deep Web中的信息是通過在特定查詢接口提交查詢后,以結(jié)果頁(yè)面的方式顯示,對(duì)Deep Web查詢結(jié)果進(jìn)行抽取,將信息資源進(jìn)行集成,使其以統(tǒng)一的模式進(jìn)行存儲(chǔ),才能為用戶提供更好的、統(tǒng)

2、一的索引服務(wù)。因此,Deep Web查詢結(jié)果抽取是Deep Web數(shù)據(jù)集成系統(tǒng)中的關(guān)鍵步驟。
　　本文主要對(duì)基于DOM樹結(jié)構(gòu)與模板方法相結(jié)合的抽取算法進(jìn)行了深入的研究,主要研究及成果如下:
　?、偕钊胙芯勘容^了幾種主要的抽取技術(shù),重點(diǎn)對(duì)基于DOM樹結(jié)構(gòu)與基于模板的抽取算法進(jìn)行了詳細(xì)的介紹,并對(duì)各種技術(shù)在復(fù)雜性、適用范圍和自動(dòng)化程度等方面進(jìn)行了分析與比較;
　?、诰C合基于DOM樹結(jié)構(gòu)與基于模板抽取算法的優(yōu)點(diǎn),提出了基于D

3、OM樹結(jié)構(gòu)與模板方法相結(jié)合的抽取算法FIME(Filtering, Iterating, Matching, and Extracting)算法,FIME算法在進(jìn)行DOM樹結(jié)構(gòu)比較之前,首先對(duì)頁(yè)面進(jìn)行預(yù)處理操作,使頁(yè)面遵守XHTML規(guī)則,同時(shí)清除頁(yè)面中對(duì)于抽取信息無(wú)用的標(biāo)簽及部分屬性元素,使得頁(yè)面更精簡(jiǎn),以提高后續(xù)匹配算法的效率;
　?、坩槍?duì)基于DOM樹結(jié)構(gòu)抽取算法中回溯處理頁(yè)面中冗余迭代項(xiàng)導(dǎo)致匹配算法復(fù)雜度高的問題,FIME在進(jìn)

4、行匹配之前首先對(duì)頁(yè)面中的迭代項(xiàng)進(jìn)行合并,降低了后續(xù)匹配算法的時(shí)間復(fù)雜度;
　?、芙Y(jié)合基于模板抽取算法的思想,FIME將在匹配算法中通過比較 DOM樹結(jié)構(gòu)而獲得的待抽取數(shù)據(jù)的位置信息作為同一網(wǎng)站頁(yè)面的模板Wrapper,對(duì)所有同源頁(yè)面進(jìn)行待抽取信息的自動(dòng)抽取,而不是對(duì)同源結(jié)構(gòu)相似的頁(yè)面做重復(fù)的處理,提高信息抽取的效率和自動(dòng)化程度。
　　由于Deep Web查詢結(jié)果頁(yè)面返回時(shí)為海量數(shù)據(jù),基于單一節(jié)點(diǎn)的抽取算法存在計(jì)算瓶頸。目前,