Deep Web數(shù)據(jù)集成關(guān)鍵問題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)日新月異的發(fā)展,Web已經(jīng)成為一個巨大的信息源,擁有著海量數(shù)據(jù)。這些數(shù)據(jù)具有重要的價值,目前許多應(yīng)用領(lǐng)域,如市場情報分析等迫切需要利用這些數(shù)據(jù)進行分析挖掘,從中獲取有用知識,最大程度的進行輔助決策。但是,Web數(shù)據(jù)具有大規(guī)模、異構(gòu)性、自治性、分布式等特點,這使得Web數(shù)據(jù)的分析挖掘變得尤為困難,當(dāng)務(wù)之急是要對其進行集成,為分析挖掘提供高質(zhì)量數(shù)據(jù)。根據(jù)Web中所蘊含信息的“深度”,可以將Web分為Surface Web和De

2、ep Web。Deep Web數(shù)據(jù)在數(shù)量和質(zhì)量上遠遠超過了Surface Web,具有更高的應(yīng)用價值。因此,如何進行Deep Web數(shù)據(jù)集成,以便于更有效的分析挖掘,具有重要的現(xiàn)實意義和廣闊的應(yīng)用前景。
　　 現(xiàn)在對Deep Web的研究主要側(cè)重于面向查詢的Deep Web數(shù)據(jù)集成,這種集成方式獲取的數(shù)據(jù)量有限,適用于用戶即時查詢需求,但是難以勝任以分析挖掘為目標(biāo)的應(yīng)用。本文致力于面向分析的Deep Web數(shù)據(jù)集成研究,目標(biāo)在于

3、最大限度地獲取Deep Web頁面,運用抽取與消重技術(shù)得到結(jié)構(gòu)化良好、高質(zhì)量的數(shù)據(jù),為進一步的分析挖掘提供數(shù)據(jù)支持。面向分析的DeepWeb數(shù)據(jù)集成存在以下問題有待解決:(1)由于分析挖掘需要大量的數(shù)據(jù),而這些數(shù)據(jù)在Deep Web中來自于領(lǐng)域內(nèi)多個Web數(shù)據(jù)庫動態(tài)產(chǎn)生的Deep Web頁面,因此,需要自動地最大限度地獲取這些頁面；(2)由于分析挖掘需要結(jié)構(gòu)化良好的、語義豐富的數(shù)據(jù),而這些數(shù)據(jù)存在于復(fù)雜的、半結(jié)構(gòu)化的DeepWeb頁面中

4、,因此,需要從頁面中準(zhǔn)確地進行結(jié)構(gòu)化數(shù)據(jù)的抽取,并進行語義理解；(3)由于分析挖掘需要統(tǒng)一的高質(zhì)量數(shù)據(jù),而這些數(shù)據(jù)重復(fù)存在于同一領(lǐng)域多個Web數(shù)據(jù)庫中,因此,需要進行多個Web數(shù)據(jù)庫之間的重復(fù)記錄檢測。
　　 本文以面向分析的Deep Web數(shù)據(jù)集成為目標(biāo),針對其中存在的關(guān)鍵問題展開研究,主要工作與貢獻概括如下:
　　 1.提出一種基于擴展證據(jù)理論的Deep Web查詢接口匹配方法,有效解決了同一領(lǐng)域內(nèi)不同Web數(shù)據(jù)庫爬

5、取時的查詢接口語義理解問題。
　　 同一領(lǐng)域內(nèi)存在大量的Web數(shù)據(jù)庫,這些Web數(shù)據(jù)庫的查詢接口模式之間具有異構(gòu)性,導(dǎo)致在爬取不同Web數(shù)據(jù)庫時難以通過統(tǒng)一的方式識別出需要投放查詢詞的接口屬性,影響Deep Web頁面的獲取。針對這一問題,本文提出一種基于擴展證據(jù)理論的Deep Web查詢接口匹配方法,通過構(gòu)建待爬取Web數(shù)據(jù)庫查詢接口與其對應(yīng)的領(lǐng)域查詢接口之間的匹配關(guān)系,理解該查詢接口屬性的語義信息。該方法充分利用了查詢接口的

6、多種特征,構(gòu)建不同匹配器,通過動態(tài)預(yù)測每個匹配器的可信度擴展現(xiàn)有的證據(jù)理論,進行多個匹配器結(jié)果的組合,提高組合的適應(yīng)能力；通過top-k全局最優(yōu)策略和樹結(jié)構(gòu)啟發(fā)式規(guī)則進行匹配決策,得到最終的匹配關(guān)系,利用該匹配關(guān)系理解待爬取Web數(shù)據(jù)庫查詢接口。實驗結(jié)果表明,該方法具有較高的匹配準(zhǔn)確率,有效克服了現(xiàn)有查詢接口匹配方法適應(yīng)能力差導(dǎo)致匹配準(zhǔn)確率較低的不足。
　　 2.提出一種基于查詢詞采新率模型的Web數(shù)據(jù)庫爬取方法,有效解決了De

7、ep Web頁面的大規(guī)模獲取問題。
　　 以分析挖掘為目標(biāo)的應(yīng)用需要大量的Deep Web數(shù)據(jù),這些數(shù)據(jù)來自領(lǐng)域內(nèi)多個Web數(shù)據(jù)庫動態(tài)生成的Deep Web頁面,但是Web數(shù)據(jù)庫特有的查詢接口訪問方式,使得傳統(tǒng)的搜索引擎爬蟲無法爬取其中的內(nèi)容。針對這一問題,本文提出一種基于查詢詞采新率模型的Web數(shù)據(jù)庫爬取方法。該方法通過對Web數(shù)據(jù)庫進行采樣,利用采樣數(shù)據(jù),選擇多種特征自動構(gòu)建訓(xùn)練樣本,避免樣本的手工標(biāo)注;利用多元線性回歸方法

8、,通過訓(xùn)練樣本構(gòu)建查詢詞采新率模型,借助該模型迭代選擇查詢詞進行查詢提交,從而實現(xiàn)對Web數(shù)據(jù)庫的爬取。實驗結(jié)果表明,利用該方法爬取Web數(shù)據(jù)庫具有較高的覆蓋率,有效地克服了現(xiàn)有Web數(shù)據(jù)庫爬取方法采用啟發(fā)式規(guī)則選取查詢詞的單一化和經(jīng)驗化的不足,學(xué)習(xí)得到的查詢詞采新率模型可以有效應(yīng)用于同一領(lǐng)域其它Web數(shù)據(jù)庫的爬取。
　　 3.提出一種基于層次聚類的Deep Web數(shù)據(jù)抽取方法,有效解決了DeepWeb頁面中結(jié)構(gòu)化數(shù)據(jù)的自動抽取

9、問題。
　　 Deep Web頁面以半結(jié)構(gòu)化形式存在,難以對其中的結(jié)構(gòu)化數(shù)據(jù)進行自動化處理。針對這一問題,本文提出一種基于層次聚類的Deep Web數(shù)據(jù)抽取方法。該方法通過利用查詢結(jié)果列表頁面的信息來輔助識別Deep Web頁面中的內(nèi)容塊,確定數(shù)據(jù)抽取的區(qū)域；通過綜合利用多個Deep Web頁面的結(jié)構(gòu)和內(nèi)容特征,對這些頁面中同一內(nèi)容塊中的內(nèi)容結(jié)點特征向量進行層次聚類,從而實現(xiàn)Web數(shù)據(jù)記錄的抽取。實驗結(jié)果表明,該方法具有較高的抽

10、取準(zhǔn)確率,有效克服了現(xiàn)有大部分方法僅利用頁面自身結(jié)構(gòu)信息導(dǎo)致抽取準(zhǔn)確率較低的不足。
　　 4.提出一種基于約束條件隨機場的Deep Web數(shù)據(jù)語義標(biāo)注方法,有效解決了Deep Web數(shù)據(jù)語義缺失以及多個Web站點數(shù)據(jù)記錄之間的模式異構(gòu)問題。
　　 對于抽取后的Web數(shù)據(jù)記錄,如果單獨依賴Deep Web頁面中現(xiàn)有的語義標(biāo)簽進行標(biāo)注,則無法處理語義標(biāo)簽缺失情況,而且不同站點通常使用不同語義標(biāo)簽,造成不同站點Web數(shù)據(jù)記錄之

11、間模式上的異構(gòu)。針對以上問題,本文提出一種基于約束條件隨機場的Deep Web數(shù)據(jù)語義標(biāo)注方法。該方法利用已有的Web數(shù)據(jù)庫信息構(gòu)建可信約束,利用Web數(shù)據(jù)記錄中數(shù)據(jù)元素之間的邏輯關(guān)系構(gòu)建邏輯約束,將兩類約束引入傳統(tǒng)的條件隨機場模型,構(gòu)建約束條件隨機場模型,采用整數(shù)線性規(guī)劃推理方法,利用領(lǐng)域Web數(shù)據(jù)庫模式的全局屬性標(biāo)簽集為Web數(shù)據(jù)記錄中的每個數(shù)據(jù)元素賦予對應(yīng)的語義標(biāo)簽,從而實現(xiàn)對Deep Web數(shù)據(jù)的語義標(biāo)注,同時也實現(xiàn)多個Web站

12、點數(shù)據(jù)記錄之間的模式統(tǒng)一。實驗結(jié)果表明,該方法具有較高的語義標(biāo)注準(zhǔn)確率,有效地克服了傳統(tǒng)條件隨機場無法綜合利用已有的Web數(shù)據(jù)庫信息和Web數(shù)據(jù)元素之間邏輯關(guān)系導(dǎo)致標(biāo)注準(zhǔn)確率較低的不足。
　　 5.提出一種基于無監(jiān)督學(xué)習(xí)的重復(fù)記錄檢測方法,有效解決了Deep Web中大規(guī)模重復(fù)記錄檢測的問題。
　　 同一領(lǐng)域內(nèi)Web數(shù)據(jù)庫數(shù)量多且數(shù)據(jù)冗余度高,難以為分析挖掘提供高質(zhì)量數(shù)據(jù)。針對這一問題,本文提出一種基于無監(jiān)督學(xué)習(xí)的重復(fù)記