Deep Web數(shù)據(jù)源的發(fā)現(xiàn)與聚類研究.pdf

1、互聯(lián)網(wǎng)上的資源可以劃分為Surface Web和Deep Web兩部分。其中，Surface Web指能夠被傳統(tǒng)搜索引擎檢索到的那部分資源，Deep Web指傳統(tǒng)搜索引擎檢索不到的那部分資源，通常指Web數(shù)據(jù)庫包含的信息。
　　 調(diào)查表明，Deep Web蘊含的信息量是Surface Web的400至500倍。然而，由于Web數(shù)據(jù)庫覆蓋各個領(lǐng)域，并且分布在世界的各個角落，因此必須對其進行集成后才能有效地加以利用。因為Deep W

2、eb集成的是同一領(lǐng)域的Web數(shù)據(jù)庫，所以在集成前需要發(fā)現(xiàn)Web數(shù)據(jù)庫并將其按照所屬領(lǐng)域分類。
　　 查詢接口是Web數(shù)據(jù)庫的唯一入口，因此可以通過查詢接口來發(fā)現(xiàn)Web數(shù)據(jù)庫。查詢接口位于網(wǎng)頁的表單之中，但并非所有的表單都是查詢接口，因此需要從表單中識別出查詢接口。基于前人的研究成果和對大量表單的觀察，本文提出了7條啟發(fā)式規(guī)則用以識別查詢接口。實驗結(jié)果表明，查詢接口識別的F-measure值能達(dá)到0.98以上。
　　 De

3、ep Web集成需要建立集成查詢接口到各本地查詢接口的映射關(guān)系。在集成前，需要從查詢接口中抽取其模式信息。對于抽取過程中存在的6大難點，文中給出了相應(yīng)的解決方法。實驗結(jié)果表明，文中給出的方法抽取查詢接口模式信息的準(zhǔn)確度可達(dá)94％以上。
　　 同一領(lǐng)域的Web數(shù)據(jù)庫所在網(wǎng)頁的標(biāo)題和關(guān)鍵詞通常會共享一定的關(guān)鍵詞?；谶@個思想，本文提出了基于頻繁項集的Web數(shù)據(jù)庫聚類算法。該算法將共享一定關(guān)鍵詞的網(wǎng)頁所包含的Web數(shù)據(jù)庫聚為一類，聚類