基于頁面相似度的鏈接分析算法研究.pdf

1、Web為人們提供了豐富的信息資源的同時，它所具有的海量數(shù)據(jù)、復(fù)雜性、極強的動態(tài)性和用戶的多態(tài)性等特點也給Web資源的挖掘造成了相當?shù)碾y度。由于Web信息是自組織和半結(jié)構(gòu)化的，經(jīng)典的信息檢索和數(shù)據(jù)庫技術(shù)很難得到有效的應(yīng)用。超鏈接是Web特有的組成部分，是聯(lián)系Web上數(shù)據(jù)資源的紐帶。鏈接分析是提高Web資源挖掘質(zhì)量的重要途徑。 本文詳細分析了Web數(shù)據(jù)挖掘方法及Web搜索引擎的結(jié)構(gòu)，分析了Web鏈接結(jié)構(gòu)的特征及主流的鏈接分析算法的特

2、點及存在的問題。Pagerank算法和HITS算法是兩種典型的基于鏈接分析的頁面排序算法。但是PageRank算法同等對待網(wǎng)頁間的鏈接，沒有考慮網(wǎng)頁更新時間的重要性、導(dǎo)航網(wǎng)頁的影響等；HITS算法忽略了主機之間的多重加強關(guān)系，容易發(fā)生主題偏移產(chǎn)生不合理結(jié)果以及不能滿足用戶站點粒度的信息需求等。根據(jù)Web鏈接特征以及網(wǎng)絡(luò)沖浪者的瀏覽過程，可以發(fā)現(xiàn)網(wǎng)絡(luò)沖浪者的隨機游走過程受當前頁面內(nèi)容的影響，通常會跳轉(zhuǎn)到與當前頁面內(nèi)容相關(guān)性很大頁面，而不是

3、等概率地沿著出鏈跳轉(zhuǎn)。在此基礎(chǔ)上，本文引入了SimRank算法來定義網(wǎng)頁之間的相似性，從而給出了一種基于網(wǎng)頁間相似度權(quán)值分配模式，對相關(guān)性大的頁面間的鏈接賦予較大的跳轉(zhuǎn)概率。利用此分配模式我們提出了一種基于分配因子排序算法RAD(Ranking Algorithm Based on Distributed Factor)。 本文闡述了RAD算法平臺設(shè)計，包括實驗數(shù)據(jù)集的獲取、數(shù)據(jù)庫設(shè)計、剪枝處理、SimRank算法實現(xiàn)及RAD算