Web鏈接分析中HITS算法的研究.pdf

1、Web是一個巨大的信息資源庫，提供了各種各樣的信息服務(wù)，隨著網(wǎng)絡(luò)的普及和網(wǎng)絡(luò)信息的迅速膨脹，如何有效的從Web獲取所需信息變得越來越重要。為此，在Web這樣的分布式環(huán)境中找到有價值的信息，并從中提取出知識內(nèi)容已經(jīng)成為目前信息檢索、數(shù)據(jù)挖掘重要課題。用戶不僅希望得到相關(guān)的Web頁面外，還希望檢索到的頁面具有高質(zhì)量，即找到權(quán)威頁面。網(wǎng)頁的超鏈接是一個重要的研究途徑，鏈接分析(即Web結(jié)構(gòu)挖掘)的引入和應(yīng)用為這些問題的解決提供了一條嶄新的思路

2、。HITS是一種應(yīng)用廣泛的基于鏈接分析的權(quán)威資源提取算法，具有很高的研究價值。 本文在簡要介紹Web鏈接分析技術(shù)的基礎(chǔ)上，深入分析了HITS算法的優(yōu)缺點，并將HITS與經(jīng)典的PageRank算法進行了比較，通過對HITS主要缺點主題漂移的分析研究，提出了一種新的改進算法，充分解決了主題漂移問題。HITS只靠頁面的入度和出度排序文檔，在一些情況下會出現(xiàn)問題即算法中需要對初次搜集的頁面集root集擴展成base集，擴展過程中可能會包

3、含大量的主題無關(guān)的頁面，如果這些頁面之間鏈接緊密的話，主題漂移就發(fā)生了，以致使HITS最終所提取到的權(quán)威頁面并不是用戶所期望的。針對這一問題，本文提出了一種新的改進算法MCHITS，此方法合理利用最大流算法對HITS進行改進。由于改進算法涉及到了最大流問題方面的內(nèi)容，本文也對社區(qū)發(fā)現(xiàn)中基于最大流的社區(qū)發(fā)現(xiàn)方法及標號算法進行了討論。 最后本文對改進后的HITS算法與傳統(tǒng)HITS算法進行了實驗比較：通過網(wǎng)絡(luò)爬蟲搜集數(shù)據(jù)，得到數(shù)據(jù)集后