基于MapReduce的大數(shù)據增量處理研究.pdf

1、隨著數(shù)據獲取方式的多樣性，數(shù)據挖掘和機器學習使用的數(shù)據集規(guī)模越來越大。而隨著時間的推移，在大規(guī)模數(shù)據集的基礎上，新的數(shù)據也在不停的加入進來，同時，數(shù)據集中已有的記錄也會被修改或者刪除，即數(shù)據集發(fā)生增量變，由此導致上一次挖掘出的結果過時。數(shù)據集一般發(fā)生增量變化時，我們需要對整個數(shù)據集重新進行挖掘，得到實時結果，由此浪費大量的計算資源。為了提高效率，使用增量處理技術解決數(shù)據發(fā)生增量變化是一個有效的方法。增量處理技術是使用上一次計算保存的狀態(tài)

2、，只重新處理發(fā)生增量變化的數(shù)據。
　　MapReduce是現(xiàn)流行的并行處理大數(shù)據的框架，由于其簡單易用成為主流處理大數(shù)據的工具。但是MapReduce不支持增量處理數(shù)據，需要重新處理整個數(shù)據才能得到實時結果。在本論文，我們提出增量處理技術，并在MapReduce上擴展，實現(xiàn)incr-MapReduce計算模型。本文主要貢獻如下:
　　(1)本文提出了在key-value層面上做增量計算的方法，并設計了一種新的文件模型MRBG

3、raph，保存細粒度的計算狀態(tài)。Incr-MapReduce根據增量數(shù)據從MRBGraph文件中匹配記錄，做增量計算并更新MRBGraph文件。
　　(2)提出增量處理技術，incr-MapReduce計算模型上不但支持批處理算法做增量計算，而且支持迭代算法做增量計算。incr-MapReduce做迭代算法的增量計算時，從上一次計算的收斂結果開始做增量迭代計算，同時使用變化傳播控制技術，能有效控制下一次迭代參與增量計算的記錄的范圍

4、。
　　(3)由于incr-MapReduce在做增量計算時，MRBStore需要頻繁從MRBGraph文件中讀取數(shù)據和更新MRGraph文件。本文使用了索引和緩沖優(yōu)化技術，減少操作MRBGraph文件的I/O次數(shù)。
　　本文使用真實數(shù)據集，在incr-MapReduce、MapReduce、Haloop和iMapReduce四個框架上執(zhí)行PageRank、GIMV、KMeans和Apriori算法，展示incr-MapRe