基于MapReduce的關系數據聯機分析處理技術研究.pdf

1、隨著數據量的不斷增長,關系數據分析系統(tǒng)面臨著可擴展性和查詢性能的挑戰(zhàn),許多查詢任務都必須通過使用大規(guī)模的集群實現并行處理才能獲得較好的查詢響應時間。面對大數據處理的需求,并行數據庫系統(tǒng)實現了高效的查詢性能,但是難以擴展;而現有的基于MapReduce的數據分析系統(tǒng)雖然具有高可擴展性和容錯性,但是查詢效率較低。
　　基于MapReduce的關系數據聯機分析系統(tǒng)Alovera有效地解決了上述問題,實現了對大規(guī)模關系數據的高效分析。該系

2、統(tǒng)通過使用MapReduce模型整合數據庫集群,實現MapReduce框架和數據庫系統(tǒng)對查詢任務的共同執(zhí)行。針對關系數據分析任務的特點,Alovera系統(tǒng)從數據的存儲方式、查詢計劃和查詢執(zhí)行三個方面進行優(yōu)化。系統(tǒng)使用面向列的關系數據存儲方式,在查詢執(zhí)行時動態(tài)地進行數據導入。通過基于查詢的數據導入方式,系統(tǒng)生成優(yōu)化的查詢計劃,將盡可能多的查詢任務分配給數據庫執(zhí)行。此外,系統(tǒng)對MapReduce框架進行了擴展,使得數據在MapReduce作