基于用戶瀏覽行為的深度網(wǎng)絡(luò)挖掘.pdf

1、近年來,隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)中蘊含了海量的信息,并且仍在以驚人的速度增長。一般來說,互聯(lián)網(wǎng)中信息的主要發(fā)布形式為靜態(tài)網(wǎng)頁,每個靜態(tài)網(wǎng)頁都含有一定數(shù)量的靜態(tài)超鏈接,指向其他的靜態(tài)網(wǎng)頁。傳統(tǒng)的搜索引擎正是利用這些靜態(tài)網(wǎng)頁中的超鏈接來收集、索引和顯示用戶所感興趣的網(wǎng)頁和信息。然而,除此之外,互聯(lián)網(wǎng)中還有很大一部分信息是以動態(tài)數(shù)據(jù)源的形式存在的。這些信息并不存在于靜態(tài)網(wǎng)頁中,而是存儲在網(wǎng)站背后的在線數(shù)據(jù)庫中,并且根據(jù)用戶的關(guān)鍵詞實時地、動

2、態(tài)地生成網(wǎng)頁來呈現(xiàn)給用戶。由于缺乏足夠的靜態(tài)超鏈接指向這些動態(tài)網(wǎng)頁,傳統(tǒng)的搜索引擎很難發(fā)現(xiàn)和索引這些網(wǎng)頁,因此這部分信息相對于用戶是“隱藏”的。這些“隱藏”信息的集合被稱為深度網(wǎng)絡(luò)(即Deep Web,又名Invisible Web或Hidden Web)。與此相對應(yīng),那些靜態(tài)網(wǎng)頁集合被稱為Surface Web。
　　 現(xiàn)在,Deep Web的信息量遠遠超過了Surface Web,尤其是Deep Web中的高質(zhì)量數(shù)據(jù),更是高

3、達Surface Web的2000多倍。但是,有效而充分地利用Deep Web中的高質(zhì)量數(shù)據(jù)在目前仍然是一個巨大的挑戰(zhàn),其中最重要的問題就是Deep Web數(shù)據(jù)源的發(fā)現(xiàn)和Deep Web數(shù)據(jù)源的采集。—當(dāng)前的關(guān)于Deep Web數(shù)據(jù)源的發(fā)現(xiàn)與采集的研究工作各有一些不足,比如,有些需要人工參與,有些依賴于特定的領(lǐng)域,所以它們都很難大規(guī)模應(yīng)用。因此,本文圍繞著Deep Web挖掘的研究,重點關(guān)注Deep Web數(shù)據(jù)源的發(fā)現(xiàn)和采集這兩個問題,

4、以方便用戶利用Deep Web中的信息,進一步推動Deep Web的發(fā)展。本文通過仔細分析用戶在Deep Web中特有的瀏覽行為,歸納出了用戶在Deep Web中特有的瀏覽路徑,并基于此瀏覽路徑提出了全自動的、不依賴特定領(lǐng)域的、高效的Deep Web數(shù)據(jù)源發(fā)現(xiàn)和采集的方法,使得大規(guī)模的Deep Web挖掘成為可能。
　　 本文的創(chuàng)新之處主要有三點：
　　 1.深入分析了網(wǎng)絡(luò)用戶在Deep Web中的瀏覽行為
　　

5、 首先分析了用戶在Surface Web和Deep Web中的瀏覽記錄與瀏覽行為,并將它們轉(zhuǎn)換為更為直觀的圖形表示(瀏覽圖),然后仔細對比了它們的不同之處；再結(jié)合Deep Web中網(wǎng)頁的功能與布局特點和鏈接規(guī)則,最后提出了用戶在Deep Web中的模型化的瀏覽路徑：表單頁面→列表頁面→目標(biāo)頁面。這條瀏覽路徑很好地描述了用戶在Deep Web中的瀏覽行為的獨特性。據(jù)我們所知,本文是第一次提出類似的概念。
　　 2.提出了一種高效的

6、發(fā)現(xiàn)Deep Web數(shù)據(jù)源的方法
　　 基于用戶在Deep Web中的獨特的瀏覽路徑,提出了一種高效的從瀏覽記錄中發(fā)現(xiàn)Deep Web數(shù)據(jù)源的方法。該方法利用Deep Web中的鏈接特點,首先通過鏈接聚類把用戶瀏覽過的表單頁面、列表頁面、目標(biāo)頁面聚類到一塊,然后根據(jù)用戶在瀏覽過程中的轉(zhuǎn)移關(guān)系重建用戶的瀏覽圖；接著,該方法從建好的瀏覽圖中檢測瀏覽路徑,來發(fā)現(xiàn)Deep Web數(shù)據(jù)源。由于該方法使用鏈接聚類取代了頁面聚類,因此大大提高

7、了Deep Web數(shù)據(jù)源發(fā)現(xiàn)的效率,而且也不依賴于特定的主題。此外,從用戶瀏覽記錄中尋找Deep Web數(shù)據(jù)源,進一步降低了代價,而且提高了發(fā)現(xiàn)Deep Web數(shù)據(jù)源的準(zhǔn)確率和發(fā)現(xiàn)高質(zhì)量Deep Web數(shù)據(jù)源的概率,降低了發(fā)現(xiàn)低質(zhì)量Deep Web數(shù)據(jù)源的風(fēng)險。
　　 3.提出了一種高效的采集Deep Web數(shù)據(jù)源的方法
　　 基于用戶在Deep Web中的獨特的瀏覽路徑,提出了一種高效的采集Deep Web數(shù)據(jù)源的方法

8、。由于用戶的瀏覽過程就是訪問大量目標(biāo)頁面的過程,因此我們嘗試模擬用戶的瀏覽行為,沿著用戶在Deep Web中的瀏覽路徑來獲取大量的目標(biāo)頁面。該方法從表單頁面出發(fā),首先收集一定數(shù)目的列表頁面；然后,該方法利用DOM樹對齊技術(shù)和目標(biāo)鏈接的布局特點在列表頁面上檢測目標(biāo)鏈接；之后,在列表頁面和目標(biāo)頁面上,該方法利用翻頁鏈接的特點來檢測翻頁鏈接。當(dāng)收集到足夠的鏈接后,該方法會學(xué)習(xí)這些鏈接的鏈接規(guī)則,并使用學(xué)到的這些鏈接規(guī)則去采集目標(biāo)Deep We