面向領(lǐng)域的Deep Web的增量爬取.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展、科技知識的日新月異,人們對網(wǎng)絡(luò)探索的需求與日俱增,在這樣的情況下,Web上的站點和網(wǎng)頁的數(shù)量呈現(xiàn)出以一種爆炸性的趨勢飛速增加。按照獲取信息的途徑就可以清晰的將Web分為:Surface Web(淺層網(wǎng)絡(luò))、Deep Web(深層網(wǎng)絡(luò))。與SurfaceWeb相比,Deep Web所包含的信息更豐富、信息量更大、結(jié)構(gòu)化更好、主題性更強。隨著市場情報分析、輿情分析等分析型應(yīng)用需求的增長,亟需對Deep Web數(shù)據(jù)進(jìn)

2、行集成,從中分析挖掘有用知識。Deep Web網(wǎng)頁的爬取是Deep Web數(shù)據(jù)集成的前提,為Deep Web的數(shù)據(jù)集成提供數(shù)據(jù)支持,只有建立在大量網(wǎng)頁的基礎(chǔ)上,通過抽取數(shù)據(jù),集成數(shù)據(jù),最后得到的信息才能更加準(zhǔn)確,更加滿足用戶的需求。為了獲取大量的網(wǎng)頁,這就要求在有限的資源內(nèi)提高爬取效率,不但要保證網(wǎng)頁的數(shù)量,還要保證網(wǎng)頁的新鮮度。Deep Web的增量爬取就具有十分重要的應(yīng)用價值和現(xiàn)實意義。Deep Web增量爬取提高了爬取效率,節(jié)約了

3、大量的時間和資源。
　　Deep Web的研究涉及諸多領(lǐng)域,從數(shù)據(jù)源發(fā)現(xiàn)、Deep Web爬取、抽取、數(shù)據(jù)融合、信息展示等等。雖然目前在這些方面有眾多專家做了大量研究,做出了重大貢獻(xiàn),但是還有一些沒有得到徹底解決的問題。下面就列出了幾個在Deep Web爬取方面遇到的問題。
　　1.在一個搜索表單內(nèi)包含多個可描述性標(biāo)簽和表單元素,采用何種方式對這些標(biāo)簽和元素進(jìn)行解析才能夠為它們準(zhǔn)確的匹配做好鋪墊。
　　2.在抽取搜索表

4、單后將搜索表單進(jìn)行分解,會得到很多表單元素和標(biāo)簽,由于表單設(shè)計沒有統(tǒng)一的開發(fā)規(guī)范,所以分解后這些表單元素和標(biāo)簽并沒有很好的一一對應(yīng)關(guān)系,雖然人類可以一眼就能看出來,但是對機器是一個挑戰(zhàn)。怎樣自動的為表單元素準(zhǔn)確的匹配標(biāo)簽,使得匹配成功后的形成的屬性能夠正確的對應(yīng)數(shù)據(jù)庫的表屬性,高效的查詢出數(shù)據(jù)記錄。
　　3.用戶填充表單后,爬蟲提交表單,訪問后臺數(shù)據(jù)庫,獲取結(jié)果網(wǎng)頁,但是如果短期內(nèi)多次提交重復(fù)的表單或者含義相似的表單必定會得到重復(fù)

5、的網(wǎng)頁,我們的目標(biāo)是盡量得到新出現(xiàn)的網(wǎng)頁或者內(nèi)容發(fā)生變化的網(wǎng)頁,對于那些未發(fā)生變化的網(wǎng)頁就不在爬取的目標(biāo)之中,這樣就會提高爬蟲的效率。
　　針對上面提到的幾個問題,本文采用了LEX表達(dá)式的方式解析搜索表單,采用機器學(xué)習(xí)方式組合的方法來匹配元素和標(biāo)簽,最后定期的提交表單項來增量爬取Deep Web網(wǎng)頁,本文的主要工作和成果概括如下:
　　1.對于一個給定的搜索表單,根據(jù)設(shè)計者的設(shè)計意圖和用戶的使用習(xí)慣,使用LEX來解析搜索表單

6、,將表單元素和描述性標(biāo)簽用特定的表達(dá)式來表示,為每一個表單元素都提供一些可供選擇的描述性標(biāo)簽。
　　2.提出了機器學(xué)習(xí)方式組合的方法來匹配表單元素和標(biāo)簽,這種組合分兩步,每一步根據(jù)候選標(biāo)簽的特點通過實驗來驗證哪種機器學(xué)習(xí)方法更適合,更加準(zhǔn)確的過濾掉那些錯誤的標(biāo)簽。最后為處理一些異常情況,還會為異常的匹配進(jìn)行糾正。
　　3.提出了一種基于URL分類的Deep Web網(wǎng)頁增量爬取的方法,介紹了爬蟲模塊、表單抽取器模塊、表單提交頻