基于采樣的Deep Web數(shù)據(jù)源選擇方法研究.pdf

1、由于互聯(lián)網(wǎng)信息的飛速發(fā)展，Web中蘊含了海量的信息供人們使用，其中Deep Web數(shù)據(jù)庫是對用戶不可見的，其中涵蓋的信息只能通過特定的查詢接口來查詢獲得。為了充分利用Deep Web中豐富的有價值的信息，以及提高對其查詢的效率，Deep Web數(shù)據(jù)集成系統(tǒng)的建立成為了當(dāng)前的研究熱點。其中，Deep Web數(shù)據(jù)庫的選擇則是此集成系統(tǒng)中查詢處理模塊相當(dāng)重要的環(huán)節(jié)。
　　本文針對Deep Web數(shù)據(jù)源的選擇，從通過采樣的辦法獲取數(shù)據(jù)源特

2、征，評估采樣質(zhì)量，以及根據(jù)選取評價指標(biāo)計算數(shù)據(jù)源的總體得分對數(shù)據(jù)源進行排序、選擇，這三個方面進行重點研究。
　　第一，本文在基于采樣的隨機漫步采樣方法的基礎(chǔ)上，針對對于關(guān)鍵字屬性研究的缺失，通過分析采樣過程中屬性分類的問題，提出一種引入關(guān)鍵字屬性并對其進行屬性分類的擴展方法，同時，進一步考慮到已有研究缺乏對分類屬性中含樹形特征的屬性的研究，從而提出樹形分類屬性的概念并給出了在采樣過程中的處理方法。
　　第二，在原始隨機漫步采

3、樣方法的基礎(chǔ)上，通過保存采樣路徑，使隨后產(chǎn)生的將要進行采樣的路徑與已有路徑進行掃描比較，據(jù)此提出一種避免擁有部分相同路徑的屬性值產(chǎn)生重復(fù)提交查詢的隨機漫步方法的改進算法，以此對數(shù)據(jù)源進行采樣，從而進一步提高采樣效率。
　　第三，在采樣評價體系中考慮了樣本與數(shù)據(jù)源的信息內(nèi)容的一致性，將文本信息內(nèi)容的文本相似度計算方法引入采樣質(zhì)量評價體系中來，結(jié)合樣本集與數(shù)據(jù)源比值法對樣本偏差的衡量，進一步完善了對采樣質(zhì)量的評價。
　　第四，在

4、采樣結(jié)果所獲樣本集的基礎(chǔ)上，對數(shù)據(jù)源質(zhì)量進行評價，給出權(quán)威性、領(lǐng)域相關(guān)性、準確性、冗余性、時效性這五個評價指標(biāo)對數(shù)據(jù)源質(zhì)量進行評估，并給出五項指標(biāo)的量化方法及公式。并在準確性指標(biāo)計算中，對語義相似度的計算做了相應(yīng)的改進，將漢明距離的相似度計算方法加入了語義相似度的元素。通過對五個指標(biāo)的綜合評價，得到數(shù)據(jù)源的總體得分，按總分進行排序選擇。
　　實驗表明，本文提出的方法，對以往方法存在的問題有了很大的改進，并進一步在采樣質(zhì)量和效率上都