基于HITS的鏈接分析算法的研究與改進(jìn).pdf

1、近年來，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，其為人們提供了豐富的信息資源的同時(shí)，它所具有的海量數(shù)據(jù)、復(fù)雜性、極強(qiáng)的動(dòng)態(tài)性和用戶的多態(tài)性等特點(diǎn)也給Web資源的發(fā)掘造成了相當(dāng)?shù)碾y度。為此，在Web這樣的復(fù)雜的環(huán)境中挖掘出有價(jià)值的信息，是目前Web數(shù)據(jù)挖掘課題領(lǐng)域的重要研究內(nèi)容。在傳統(tǒng)的信息檢索技術(shù)已經(jīng)成熟的現(xiàn)狀下，從Web數(shù)據(jù)本身的特點(diǎn)出發(fā)，充分地挖掘Web上龐大的超鏈接資源，通過超鏈接進(jìn)行搜索，建立有效的Web信息檢索模

2、型，找到我們需要的信息。但基于超鏈接的排序算法純粹地基于鏈接分析(即Web結(jié)構(gòu)挖掘)來發(fā)現(xiàn)權(quán)威網(wǎng)頁，沒有考慮網(wǎng)頁的具體內(nèi)容，存在所謂的主題漂移問題，即算法的結(jié)果往往包含這樣的一些網(wǎng)頁，它們相互鏈接密度較高，但在內(nèi)容上卻偏離了查詢主題。 本文通過對經(jīng)典的Web結(jié)構(gòu)挖掘算法HITS算法的研究學(xué)習(xí)，針對HITS算法本身只考慮Web頁面之間的超鏈接而忽略了Web頁面的內(nèi)容信息，并且對鏈接不加區(qū)分從而導(dǎo)致分析結(jié)果出現(xiàn)主題漂移的問題，提出了

3、基于主題相關(guān)度和網(wǎng)頁流行度的改進(jìn)算法I-HITS：利用網(wǎng)頁與查詢主題的相關(guān)度和網(wǎng)頁的流行度來區(qū)分鏈接的重要性，并據(jù)此構(gòu)建了一個(gè)新的鄰接矩陣W，利用新的迭代公司來計(jì)算hub值和authority值。 本文還分析了基于HITS的其它一些改進(jìn)算法，ARC算法和SALSA算法。通過對I-HITS算法與傳統(tǒng)的HITS算法、ARC算法和SALSA算法的實(shí)驗(yàn)比較：I-HITS算法能找到更多的相關(guān)網(wǎng)頁，相關(guān)度比例提高30％-50％，從而極大地減