面向deep web的數(shù)據(jù)抽取與結(jié)果聚合技術(shù)研究.pdf

1、隨著計算機網(wǎng)絡(luò)的高速發(fā)展，網(wǎng)絡(luò)資源越來越豐富，一方面拓寬了人們獲取信息的渠道，另一方面信息的秩序混亂又使得用戶難以浩瀚萬千的信息中獲取需要的信息，搜索引擎為用戶提供網(wǎng)絡(luò)信息的檢索與分類功能。在網(wǎng)絡(luò)資源中，有一種資源是傳統(tǒng)搜索引擎索引不到的。這種資源叫deep web資源。Deep web資源是指傳統(tǒng)搜索引擎不能索引到的資源，是能夠被訪問的在線web數(shù)據(jù)庫。deep web資源因其資源豐富，專業(yè)性強，自動更新速度快，數(shù)據(jù)海量，領(lǐng)域范圍廣等

2、優(yōu)點。越來越受到人們的青睞。研究如何對通過deep web查詢接口返回的數(shù)據(jù)進行抽取以及對抽取結(jié)果進行聚合具有重要的理論意義和實踐價值。
　　 本文針對deep web資源的數(shù)據(jù)抽取與結(jié)果聚合進行研究，數(shù)據(jù)抽取階段，首先簡要介紹MDR，總結(jié)MDR在deep web頁面信息抽取中遇到的效率問題，從MDR數(shù)據(jù)抽取算法中得到啟示，對MDR算法進行改進以降低數(shù)據(jù)抽取的時間復(fù)雜度。抽取算法使用標(biāo)簽樹對HTML頁面進行表示，在抽取之前對頁面

3、清洗，規(guī)范化并構(gòu)造標(biāo)簽樹。使用標(biāo)簽樹的結(jié)構(gòu)相似度定位數(shù)據(jù)記錄。相似度計算方法改進了樹編輯距離算法時間復(fù)雜度高的缺點，改進了元素比較法的不能真實反映樹結(jié)構(gòu)的缺點，在面向deep web的數(shù)據(jù)抽取中有較好的抽取效果。然而有些數(shù)據(jù)記錄之間的相似度較低，使用基于標(biāo)簽樹的相似度的數(shù)據(jù)抽取算法也會有不好的情況，為了解決這種標(biāo)簽結(jié)構(gòu)的數(shù)據(jù)記錄識別問題，在改進通過標(biāo)簽樹結(jié)構(gòu)相似度判定數(shù)據(jù)記錄的基礎(chǔ)上，提出一種基于子樹不完全匹配的數(shù)據(jù)記錄抽取算法。結(jié)果聚