基于云計算的Web鏈接結(jié)構(gòu)分析及應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)和信息技術(shù)的迅速發(fā)展導(dǎo)致了信息的爆炸，巨大的 Web信息資源庫不但給人們提供了各種信息，同時也增加了人們從海量數(shù)據(jù)中獲取有用信息的難度。Web鏈接結(jié)構(gòu)分析算法，特別是PageRank和HITS算法的出現(xiàn)和發(fā)展，極大地方便了人們提取更加有用的信息。然而，隨著數(shù)據(jù)的不斷增加，傳統(tǒng)的單機(jī)Web鏈接結(jié)構(gòu)算法已經(jīng)無法滿足處理海量數(shù)據(jù)的需求。
　　為解決Web鏈接結(jié)構(gòu)算法在海量數(shù)據(jù)計算和存儲中存在的瓶頸問題，本文引入Hadoop云計算平

2、臺解決此問題。Hadoop框架是為處理海量數(shù)據(jù)的需求而提出的，可被用來開發(fā)高性能的分布式程序，對于海量數(shù)據(jù)的存儲和計算有著極大的優(yōu)勢。本文研究的主要內(nèi)容為：
　　(1)研究基于Hadoop平臺的云計算理論和相關(guān)技術(shù)，并搭建部署Hadoop云平臺集群；
　　(2)在Hadoop云計算平臺上，重新設(shè)計和實現(xiàn)基于重要度分析算法PageRank。通過對傳統(tǒng)的算法重新設(shè)計，考慮了結(jié)點存在的各種情況，有針對性的對 Key和Value進(jìn)行

3、設(shè)計，使算法并行化，并采用多種數(shù)據(jù)集對設(shè)計的算法進(jìn)行測試并分析實驗結(jié)果，驗證算法的有效性、可行性。最后，分析PageRank算法在網(wǎng)站排名應(yīng)用中存在的問題；
　　(3)在Hadoop云計算平臺上，重新設(shè)計和實現(xiàn)基于中文詞網(wǎng)絡(luò)的HITS算法，并對該算法的應(yīng)用進(jìn)行研究。通過改變信息結(jié)點的存儲結(jié)構(gòu)，對算法進(jìn)行Map/Reduce化，實現(xiàn)分布式矩陣、向量運算，打破Hub值和Authority值的共引用共耦合的復(fù)雜關(guān)系，測試并分析實驗結(jié)果。