基于MapReduce的Web鏈接結(jié)構(gòu)分析算法研究.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，Web網(wǎng)頁信息正在呈現(xiàn)指數(shù)級的增長趨勢。面對如此巨大的Web信息資源庫，搜索引擎已成為用戶獲取網(wǎng)絡(luò)信息資源的重要工具。Web鏈接結(jié)構(gòu)分析算法，作為網(wǎng)絡(luò)搜索引擎的重要組成部分，用于通過分析Web頁面間鏈接結(jié)構(gòu)來對Web網(wǎng)頁信息做潛在的重要性評估。然而，隨著數(shù)據(jù)計算量的不斷增加，傳統(tǒng)集中式架構(gòu)的Web鏈接結(jié)構(gòu)分析算法不僅在計算和存儲方面存在著瓶頸，且存在系統(tǒng)的穩(wěn)定性和擴展性不高等問題。近年來，處理海量數(shù)據(jù)的Ha

2、doop分布式平臺，以其可靠性、高效性、高擴展性等優(yōu)勢，已成為學術(shù)界研究的熱點。深入研究Web鏈接結(jié)構(gòu)分析的經(jīng)典算法PageRank、HITS，以及Hadoop、Map/Reduce等理論知識，將Web鏈接結(jié)構(gòu)分析算法和Hadoop平臺相結(jié)合，并做了如下工作:
　　1.在Hadoop平臺上，對PageRank算法每次迭代都要多次訪問HDFS，I/O的消耗大;每次MapReduce操作，在混合階段和排序階段處理Key的數(shù)量大，算法效

3、率低等問題進行研究。并提出了基于塊結(jié)構(gòu)劃分的方法，將網(wǎng)頁之間的鏈接關(guān)系轉(zhuǎn)換成網(wǎng)絡(luò)塊間的關(guān)系，大大減少了算法迭代過程中需要處理的Key的數(shù)據(jù)量，從而減少了Map和Reduce操作的調(diào)用次數(shù)，降低了I/O傳輸造成的開銷，提高算法執(zhí)行效率。
　　2.在Hadoop分布式平臺上，對傳統(tǒng)HITS算法矩陣存儲鏈接結(jié)構(gòu)以及規(guī)范化處理效率低問題進行研究，根據(jù)Hadoop平臺特性，重新設(shè)計為基于MapReduce的HITS算法，改變結(jié)點信息的存儲方