Web結構挖掘中PageRank算法研究.pdf

1、隨著Web信息技術的迅速發(fā)展，用戶可以越來越方便快捷地獲取各種信息，與此同時，也面臨著如何從大量Web信息中獲取相關及有用信息的問題。雖然，通過使用傳統(tǒng)的Google、百度、Lycos等搜索引擎，可以大大減少無用信息的干擾，但這些搜索引擎搜索的結果有時也不完整或不相關，很難完全滿足用戶的需求。值得慶幸的是，目前Web數(shù)據(jù)挖掘技術的研究可以解決Web上過量信息的問題，通過對Web超鏈接結構進行分析，為用戶提供更精確、更相關的數(shù)據(jù)。因此，W

2、eb數(shù)據(jù)挖掘逐漸成為目前研究的熱點。 本文從Web結構挖掘入手，在對Web結構挖掘中典型算法PageRank深入研究的基礎上，針對PageRank算法只考慮Web頁面之間的鏈接關系而忽略Web頁面本身的文本內(nèi)容，對權威性高的網(wǎng)頁隨著時間的推移賦予很高的權威值，而對新出現(xiàn)的網(wǎng)頁賦予很低的權威值，從而導致搜索結果出現(xiàn)“主題漂移”和種種缺陷的問題，提出了一種基于超鏈接網(wǎng)頁之間的距離及強化學習相結合的改進算法——DisRank。該算法把

3、網(wǎng)頁之間的距離作為“處罰”因子，以此來計算Web網(wǎng)頁的等級值及對其進行排序。我們首先通過網(wǎng)頁爬行算法抓取基于某個主題的、一定數(shù)量的網(wǎng)頁作為訓練樣本，然后存儲到數(shù)據(jù)庫中，最后分別調(diào)用PageRank算法和改進算法DisRank進行實驗，以證明改進算法的有效性。這其中包括改進算法DisRank抓取相關網(wǎng)頁的吞吐量、不同β取值算法的吞吐量、精確度、收斂速度及算法時間復雜度等。 最后，對本文所做的工作進行了總結，并提出改進算法需要進一步