基于鏈接分析的Web社區(qū)發(fā)現(xiàn)技術(shù)研究.pdf

1、WWW已經(jīng)成為一個(gè)巨大的、分布廣泛的全球信息服務(wù)中心，且以驚人的速度在不斷擴(kuò)大。目前Web上數(shù)據(jù)具有海量和無(wú)組織等特征，如何快速、有效地利用Web上的數(shù)據(jù)成為研究熱點(diǎn)。Web中存在大量的社區(qū)，這些社區(qū)是Web組織中非常重要的信息。社區(qū)可以為用戶(hù)提供有價(jià)值的、及時(shí)的信息。社區(qū)反映了Web中普遍存在的復(fù)雜聚團(tuán)關(guān)系和層次關(guān)系，對(duì)社區(qū)的深入研究可以了解Web中知識(shí)信息及其組織結(jié)構(gòu)的發(fā)展?fàn)顩r?？蓪eb社區(qū)發(fā)現(xiàn)算法應(yīng)用于搜索引擎有助于提高Web信

2、息搜索的精確度，進(jìn)而實(shí)現(xiàn)垂直搜索引擎。
　　Web頁(yè)面間的鏈接關(guān)系為Web社區(qū)發(fā)現(xiàn)研究提供了極其豐富的信息線(xiàn)索。鏈接分析是Web社區(qū)發(fā)現(xiàn)主要技術(shù)之一。
　　本文在分析當(dāng)前Web及其數(shù)據(jù)特征、Web社區(qū)的定義、鏈接分析技術(shù)、Web拓?fù)浣Y(jié)構(gòu)模型等理論基礎(chǔ)上，對(duì)基于鏈接分析的Web社區(qū)發(fā)現(xiàn)技術(shù)：基于重要度分析的PageRank算法、基于共引用與共耦合關(guān)系的HITS算法、基于有向二分圖的Trawling算法、基于流量的算法進(jìn)行了詳細(xì)

3、的分析。并重點(diǎn)研究了基于共引用與共耦合關(guān)系的HITS算法實(shí)現(xiàn)過(guò)程及其在社區(qū)發(fā)現(xiàn)中存在的問(wèn)題針對(duì)HITS算法本身只考慮Web頁(yè)面間超鏈接而忽略Web頁(yè)面內(nèi)容信息，對(duì)鏈接不加區(qū)分，對(duì)所有的鏈接賦予相等權(quán)重，結(jié)果常常把與主題無(wú)關(guān)的頁(yè)面賦予較高的權(quán)重，導(dǎo)致了社區(qū)結(jié)果網(wǎng)頁(yè)出現(xiàn)了主題漂移現(xiàn)象。本文提出了基于鏈接價(jià)值度和頁(yè)面語(yǔ)義主題相似度的改進(jìn)HITS算法，該算法將鏈接權(quán)威度和頁(yè)面語(yǔ)義主題相似度這兩個(gè)不同角度的屬性融合到鏈接權(quán)重分配中，突出了鏈接的差