面向特定領(lǐng)域的Deep Web數(shù)據(jù)自動抽取.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，Web已蘊含著海量的豐富資源，包羅萬象，是人類一筆寶貴的知識財產(chǎn)。Web按其所蘊涵信息的深度可分為Surface Web和Deep Web。據(jù)統(tǒng)計，99％的互聯(lián)網(wǎng)數(shù)據(jù)是屬于Deep Web數(shù)據(jù)，并且其中很多都公開免費使用的。面對如此巨大的網(wǎng)絡(luò)資源，如何有效地，方便地訪問和利用Deep Web中的資源，成為一個重要的話題。
　　 本論文以Deep Web數(shù)據(jù)自動抽取系統(tǒng)為目標，針對于某一個領(lǐng)域，解決了De

2、ep Web數(shù)據(jù)自動抽取中的主要問題，包括入口查找，查詢提交，詳細頁面定位及結(jié)果抽取等主要關(guān)鍵技術(shù)問題。具體如下：
　　 基于決策樹的入口查找：針對于Deep Web查詢?nèi)肟谧R別問題，本章利用決策樹算法來生成有效入口規(guī)則，對面向某一領(lǐng)域的入口進行判斷，該算法可以挖掘潛在的入口識別規(guī)則，可以避免常用的啟發(fā)式規(guī)則具有的缺陷；
　　 Deep Web交互技術(shù)研究：Deep Web數(shù)據(jù)抽取中，如何有效的與Deep Web所對應(yīng)的

3、數(shù)據(jù)庫接口進行交互，是能否從Deep Web中抽取到數(shù)據(jù)和抽取到有效數(shù)據(jù)的重要技術(shù)，本章對現(xiàn)存的交互技術(shù)進行實驗分析，為各種不同的用途提供交互技術(shù)選擇參考；
　　 基于聚類算法的查詢結(jié)果定位：Deep Web查詢結(jié)果定位問題是一個常常被忽視的問題。大多數(shù)研究的抽取是針對于Deep Web響應(yīng)頁面，然后響應(yīng)頁面只提供摘要信息，并沒有很詳細的信息。而Deep Web詳細頁面則是一個信息完整的頁面，包含著Deep Web主題的主要信息

4、。本章使用Simple K Means聚類算法來訓練模型，通過增加權(quán)值米對距離公式進行調(diào)整，使得定位結(jié)果得到進一步提高；
　　 基于樹匹配的查詢結(jié)果頁面抽?。篋eep Web詳細頁面雖然具有統(tǒng)一模式，但結(jié)構(gòu)復雜，內(nèi)容復雜。相對于摘要頁面來說，更具有挑戰(zhàn)性，本章在樹匹配的基礎(chǔ)上，對詳細頁面數(shù)據(jù)進行抽取，采用詞頻計算法對抽取結(jié)果中的噪音進行處理，使得抽取結(jié)果可以更豐富一些；
　　 本文對于提出的各種方法、模型和算法都進行了相