Web數(shù)據(jù)庫特征表示和抽取方法的研究.pdf

1、隨著 Internet的發(fā)展，Web正在加速地“深化”，Web可以簡單地分為兩部分：Surface Web和Deep Web。前者是指通過超鏈接就可以被傳統(tǒng)搜索引擎搜索到的頁面的集合；后者普遍被認為是網(wǎng)絡(luò)中可訪問的在線數(shù)據(jù)庫。與Surface Web的信息相比，Deep Web中所包含的信息數(shù)據(jù)量更大、信息質(zhì)量更好、專業(yè)性更強，因此日益成為人們獲取信息的主要途徑之一。由于Deep Web中大量的信息被鎖定在數(shù)據(jù)庫內(nèi)，而許多網(wǎng)頁也是通過響

2、應(yīng)具體的查詢動態(tài)生成的，所以實現(xiàn)對Deep Web或WDB（Web數(shù)據(jù)庫）的檢索，不僅將大大擴充現(xiàn)有搜索引擎的搜索能力，更為人們方便地進行信息查找提供了便捷的手段。
　　WDB查詢接口是我們訪問和檢索WDB的唯一路徑，每個查詢接口對應(yīng)于不同的查詢模式，用戶通過填寫不同的查詢接口并提交請求，從而發(fā)現(xiàn)合適的信息。但是隨著JavaScript、Ajax等動態(tài)腳本技術(shù)的廣泛應(yīng)用，查詢接口的復(fù)雜性也在逐漸增加，另外網(wǎng)上有眾多的WDB，而且其

3、包含的數(shù)據(jù)也是多種多樣的，所以快速識別 WDB這類動態(tài)查詢接口的特征、發(fā)現(xiàn)接口內(nèi)各元素之間的約束關(guān)系、實現(xiàn)接口特征的量化表示并對特定領(lǐng)域的WDB數(shù)據(jù)的特征進行定量描述和抽取是實現(xiàn)對WDB自動訪問和提高傳統(tǒng)搜索引擎搜索能力的關(guān)鍵步驟。
　　本文針對以上問題，主要以WDB特征為主線研究了WDB查詢接口和WDB數(shù)據(jù)特征的表示方法、Web數(shù)據(jù)庫采樣、WDB查詢接口和WDB數(shù)據(jù)特征的抽取方法。具體研究內(nèi)容包括：
　?。?） WDB查詢

4、接口和WDB數(shù)據(jù)特征的表示方法
　　本文將WDB數(shù)據(jù)屬性分為三類，即文本屬性、分類屬性和數(shù)值屬性。對于文本屬性，采取基于詞頻的特征表示；對于數(shù)值型屬性，基于數(shù)值屬性具有連續(xù)性的特點，且正態(tài)分布具有強大的普適性，我們采用正態(tài)分布的期望和偏差表示數(shù)值屬性的特征；對于分類型屬性采取基于統(tǒng)計的特征表示方法。在獲取以上各類屬性的特征后，將形成最終的特征向量。最后，因為本體具備良好的知識表示能力和推理能力，本研究采用本體的方法進行查詢接口的表

5、示。
　?。?）基于貝葉斯模型的數(shù)據(jù)樣本抽取方法
　　為了實現(xiàn)對WDB特征的抽取，本文提出一種基于貝葉斯模型數(shù)據(jù)樣本抽取方法，該方法大體過程分為5個步驟：①構(gòu)建WDB初始查詢；②通過初始查詢獲得查詢結(jié)果；③將結(jié)果加入樣本集并對查詢結(jié)果進行分析，分別計算出各個特征詞的概率和條件概率，為下一個查詢做準備；④根據(jù)相似性原則判定獲取樣本的循環(huán)是否應(yīng)該被終止；⑤繼續(xù)下一步查詢，直到循環(huán)被終止。根據(jù)實驗對本文提出的采樣方法的合理性和有效

6、性進行了驗證。
　　（3） WDB查詢接口和WDB數(shù)據(jù)特征的抽取方法
　　基于以上研究，本文給出了WDB查詢接口抽取方法和WDB數(shù)據(jù)特征抽取方法。首先，針對查詢接口的上下文信息、表單信息以及表單域之間的關(guān)聯(lián)信息給出相應(yīng)的抽取方法，分別為基于正則表達式的表單信息的抽取和基于 Watir和Ajax的表單域關(guān)系的抽??；其次針對WDB數(shù)據(jù)特征的抽取，分別給出了基于詞頻的文本型數(shù)據(jù)特征抽取、基于正態(tài)分布的數(shù)值型數(shù)據(jù)特征抽取和基于記錄數(shù)