Web結(jié)構(gòu)挖掘中HITS算法的優(yōu)化與實(shí)現(xiàn).pdf

1、Internet是一個巨大、分布廣泛、全球性的信息服務(wù)中心，它提供了各種各樣的信息服務(wù)。與此同時，如何從Internet所提供的浩如煙海的信息中獲取所需信息或是從中提取有用知識便成為一個急需解決的問題。搜索引擎是目前最主要的Web檢索工具，然而搜索引擎返回的文檔質(zhì)量參差不齊，難以滿足用戶對高質(zhì)量檢索結(jié)果的需求。 將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)和Web結(jié)合起來，進(jìn)行Web挖掘成為解決這一問題的重要途徑。結(jié)構(gòu)挖掘是Web挖掘的一個重要方面，研

2、究表明web上的鏈接結(jié)構(gòu)含有非常豐富和重要的信息，鏈接分析技術(shù)已經(jīng)被成功的用于分析Web超鏈接數(shù)據(jù)來確定權(quán)威信息源。在各種對網(wǎng)頁進(jìn)行鏈接分析并提取主題的算法中，HITS(Hyperlink-Induced Topic Search)算法是最典型的。通過對HITS算法的深入研究發(fā)現(xiàn)，該算法存在一定的不足。HITS算法在擴(kuò)展根集階段對頁面的不合理選取導(dǎo)致無效鏈接過多，直接影響最終權(quán)威信息源的質(zhì)量；給不同的Web站點(diǎn)作者規(guī)定了不平等的影響權(quán)重

3、，導(dǎo)致了鏈接間不合理的相互加強(qiáng)關(guān)系；Web鏈接結(jié)構(gòu)的自組織性導(dǎo)致迭代分析往往收斂于鏈接結(jié)構(gòu)圖中與查詢主題不太相關(guān)的緊密連接區(qū)域(TKC)，從而導(dǎo)致主題偏移。針對以上不足，本文提出了一種結(jié)合內(nèi)容分析與鏈接分析的主題精選算法——W-HITS算法，并開發(fā)了實(shí)驗系統(tǒng)，對該算法進(jìn)行了驗證，通過對實(shí)驗結(jié)果的分析討論證明改進(jìn)后的算法較原算法更合理有效。 本文的主要貢獻(xiàn)有以下幾點(diǎn)： (1)提出了更有效的獲取基集的方法，賦予了文檔作者間平

4、等的影響權(quán)重，使精選出的權(quán)威和中心網(wǎng)頁更為客觀合理； (2)通過內(nèi)容分析給信息源賦予了主題相關(guān)度權(quán)重，并運(yùn)用加權(quán)的I/O操作進(jìn)行鏈接分析，使主題相關(guān)度較高的信息源得到較高的排序分值； (3)對主題相關(guān)度很低的信息源進(jìn)行修剪，排除他們對排序分值計算的干擾，進(jìn)一步保證了主題精選結(jié)果是真正的查詢主題下的權(quán)威/中心源； (4)提出了驗證該算法有效性的實(shí)驗方案，并開發(fā)了實(shí)驗系統(tǒng)，對該算法進(jìn)行了驗證，并對實(shí)驗結(jié)果進(jìn)行了分析討