Web結構挖掘算法研究.pdf

1、Web挖掘是傳統(tǒng)的數(shù)據(jù)挖掘理論在Web中的應用，其涉及多學科領域的知識，如計算機網(wǎng)絡、數(shù)學、人工智能等，是一個交叉性的研究領域。Web結構挖掘（Web Structure Mining）是Web挖掘研究領域的重要分支，它是通過分析各種網(wǎng)頁結構間的關系信息，從而尋找潛藏在頁面內(nèi)容之外但有潛在價值的信息的過程。 其中，這些網(wǎng)頁結構信息主要包含以下三種：頁面之間的超鏈接結構關系，可以用超文本標記語言（HTML）或可擴展標記語言（XML

2、）表示的網(wǎng)頁中的樹型結構（DOM），頁面統(tǒng)一資源定位（URL）中起組織和表現(xiàn)形式作用的文件目錄結構。 文章首先分析了經(jīng)典結構挖掘算法PageRank、HITS及其改進算法，對算法中存在的問題進行了系統(tǒng)的闡述。 PageRank算法是通過離線狀態(tài)計算的，因而具有較快的響應速度，但其沒有考慮與查詢主題之間的關系，導致結果的主題性很差；HITS算法則是根據(jù)查詢文本進行的運算，需要在線狀態(tài)完成所有的工作，因此相比前者響應速度比較

3、慢。 針對這些問題本文提出了B-PH算法（Algorithm based on PageRank and HITS），該算法充分結合了文檔內(nèi)容和超鏈接結構，使得結果頁面集更具有權威性和相關性。 最后通過實驗系統(tǒng)對真實數(shù)據(jù)的檢測，通過與經(jīng)典算法對比驗證了該算法的可行性和有效性。 本文所做的主要工作： 1.對經(jīng)典結構挖掘算法進行了分析，并對算法中存在的問題進行了系統(tǒng)的闡述。 2.提出了Web噪音鏈接處

4、理的新方法，有效地提高了算法的效率。 3.提出了B-PH算法（Algorithm based on PageRank and HITS）。該算法在HITS算法框架基礎上結合了PageRank，極大地減少了主題漂移現(xiàn)象，提高了查詢效率和質量。 4.提出了檢驗B-PH算法的實驗模型，并開發(fā)了DotNet環(huán)境下基于B/S架構的Web應用實驗系統(tǒng)，系統(tǒng)通過對真實數(shù)據(jù)處理，驗證了算法的可行性和有效性；最后對處理結果進行了對比分析。