深層網(wǎng)絡數(shù)據(jù)源發(fā)現(xiàn)與查詢結果抽取研究.pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，網(wǎng)絡中蘊藏的有價值信息愈來愈多。但各站點提供的信息在數(shù)量及質量上都存在巨大的差異。這給人們選取高質量信息帶來了困難。搜索引擎技術可以對網(wǎng)絡資源進行分類整理和檢索，極大地提高了人們獲取有價值資源的效率。然而有的數(shù)據(jù)資源位于后臺數(shù)據(jù)庫中，不能被傳統(tǒng)搜索引擎檢索，這部分網(wǎng)絡資源稱為深層網(wǎng)絡。深層網(wǎng)絡所包含的數(shù)據(jù)具有結構化程度高、數(shù)據(jù)量大、質量優(yōu)質等特點。因此，研究這些數(shù)據(jù)具有重要的意義。
　　 本文針對如何發(fā)

2、現(xiàn)并抽取深層網(wǎng)絡數(shù)據(jù)展開了相關研究。要利用深層網(wǎng)絡中的信息，首要問題就是發(fā)現(xiàn)深層網(wǎng)絡的數(shù)據(jù)源。其次，對于向深層網(wǎng)絡提交查詢后所返回的結果數(shù)據(jù)區(qū)域，如何自動發(fā)現(xiàn)這些區(qū)域是對其信息抽取的前提。針對這些問題，本文主要完成三個方面的工作:研究并改進了一種數(shù)據(jù)源的發(fā)現(xiàn)方法;采用了一種新的網(wǎng)頁結構相似度比較算法，在算法的基礎上實現(xiàn)了網(wǎng)頁數(shù)據(jù)區(qū)域的識別;設計了深層網(wǎng)絡信息集成系統(tǒng)框架，并實現(xiàn)了數(shù)據(jù)源發(fā)現(xiàn)與結果網(wǎng)頁信息抽取功能模塊。
　　 首先

3、是深層網(wǎng)絡數(shù)據(jù)源的發(fā)現(xiàn)及方法改進。論文設計了一種數(shù)據(jù)源發(fā)現(xiàn)框架。針對查詢接口的判定問題，本文分析了查詢接口與其他表單的區(qū)別，采用了一系列規(guī)則進行判斷。數(shù)據(jù)源一般只限某一類領域，為準確查找數(shù)據(jù)源，必須判定其是否與主題類別相關。論文分析了傳統(tǒng)數(shù)據(jù)源分類方法在特征選擇方面的不足之處，并對特征選擇策略進行了改進。實驗表明，改進的方法能有效發(fā)現(xiàn)主題相關的數(shù)據(jù)源站點。
　　 然后是網(wǎng)頁信息抽取及新算法的應用。本文通過分析在線數(shù)據(jù)庫返回結果頁

4、面的特點，發(fā)現(xiàn)每個數(shù)據(jù)區(qū)域對應的標簽樹在結構上十分相似。論文采用了一種新的網(wǎng)頁結構相似度比較算法，識別數(shù)據(jù)區(qū)域所在位置。新算法將網(wǎng)頁的標簽表示成樹的形式，并定義一種特殊的子樹，將整個樹的比較劃為對這些特殊子樹的比較，實驗證明了此算法能有效反映網(wǎng)頁結構的相似程度。使用該算法找出數(shù)據(jù)區(qū)域所在位置之后，本文利用網(wǎng)頁結構特點及關鍵詞提取相關記錄，并將這些信息抽取出來。
　　 最后是深層網(wǎng)絡數(shù)據(jù)集成框架設計與主要模塊實現(xiàn)。論文設計了深層網(wǎng)