基于關(guān)鍵詞屬性的Web數(shù)據(jù)庫采樣系統(tǒng)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)中的信息越來越豐富，使其成為了一個巨大的數(shù)據(jù)源。按照數(shù)據(jù)在網(wǎng)絡(luò)中存在的深度，可以將整個Web劃分為Surface Web和Deep Web，而在目前的Web中，Deep Web中的信息量遠遠超過了Surface Web，并且Deep Web仍然在迅速增長，使的Deep Web成為人們最重要的信息來源。然而Deep Web中的信息的獲取只能通過查詢接口動態(tài)的獲得，傳統(tǒng)的查詢接口很難檢索到。為了更加方便的利用Deep

2、Web中的信息，最有效的方法是對Web數(shù)據(jù)庫進行采樣。但是由于Deep Web中的信息量大、結(jié)構(gòu)復(fù)雜，如何高效的對Web數(shù)據(jù)庫進行采樣是一個重要的研究課題
　　基于關(guān)鍵詞屬性的Web數(shù)據(jù)庫采樣系統(tǒng)WDB-Samper，克服了傳統(tǒng)數(shù)據(jù)庫采樣不能通過查詢接口進行采樣的缺點，采取了增量式的采樣方法，通過查詢接口逐步的獲取隨機樣本。采樣系統(tǒng)的設(shè)計主要分為三個部分，第一部分是數(shù)據(jù)的管理，主要是采樣數(shù)據(jù)記錄的存儲以及記錄的屬性和屬性值的統(tǒng)計，

3、并利用若干個數(shù)據(jù)結(jié)構(gòu)來對相關(guān)數(shù)據(jù)記錄管理，存在本地數(shù)據(jù)庫中。第二部分是查詢的生成，查詢的生成是整個采樣系統(tǒng)的核心所在，由于對Web數(shù)據(jù)庫的訪問只能通過向查詢接口提交查詢實現(xiàn)，因此查詢的生成伴隨在整個采樣過程中，在查詢生成過程中分為屬性的選擇和屬性值的選擇兩步。第三部分是樣本偏差的修訂，由于無法保證采樣過程的完全客觀，當(dāng)采樣結(jié)束后，得到的樣本并不能作為最終的樣本，因此在這一部分中利用了樣本偏差的評價，循環(huán)的剔除了樣本中造成較大偏差的記錄。