基于BSP模型的圖計算預處理研究.pdf

1、隨著以互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)為標志的信息技術的飛速發(fā)展，信息數(shù)據(jù)量呈爆炸式增長，大數(shù)據(jù)處理技術得到了越來越廣泛的應用，分布式圖計算也在社交網(wǎng)絡、電子商務、推薦系統(tǒng)等領域有著重要的實際應用。Hadoop因其良好的可靠性與擴展性，成為了構建大數(shù)據(jù)生態(tài)系統(tǒng)的核心組件。Hadoop在圖計算、機器學習等需要大量迭代式計算方面表現(xiàn)差勁，無法滿足大規(guī)模的圖計算需求，而基于BSP模型的圖計算框架彌補了Hadoop的不足。Apache Hama是一個

2、基于BSP模型的圖并行計算框架，因其發(fā)展時間短，圖計算預處理技術還需要改進。Hama的預處理流程無法滿足規(guī)模龐大、結構復雜的圖數(shù)據(jù)處理。Hama預處理流程中未對圖數(shù)據(jù)進行均衡操作，數(shù)據(jù)分片機制存在缺陷。
　　本文的目的是提出一種基于BSP模型的圖計算預處理技術，彌補Hama預處理技術的缺點，改進預處理流程中的數(shù)據(jù)分片技術，提高集群資源的利用率，使得圖預處理適應多種應用場景的需要。本文的主要工作與貢獻如下所示：
　　本文深入分

3、析了現(xiàn)今主流的分布式圖計算框架及其發(fā)展趨勢，重點研究了Hadoop與Hama框架，分析介紹了Hama與Hadoop中使用到的HDFS與MapReduce的架構與工作原理。文中對Hadoop與Hama的圖計算預處理流程進行深入對比，介紹了圖預處理流程中的數(shù)據(jù)分片機制的不同，同時分析了Hadoop與Hama圖計算預處理流程中數(shù)據(jù)分片技術存在的缺陷。
　　在上述研究成果的基礎上，提出了一種基于BSP模型的圖計算預處理技術，詳細介紹了預處