基于MapReduce的關(guān)系數(shù)據(jù)聯(lián)機(jī)分析處理技術(shù)研究.pdf

1、隨著數(shù)據(jù)量的不斷增長,關(guān)系數(shù)據(jù)分析系統(tǒng)面臨著可擴(kuò)展性和查詢性能的挑戰(zhàn),許多查詢?nèi)蝿?wù)都必須通過使用大規(guī)模的集群實現(xiàn)并行處理才能獲得較好的查詢響應(yīng)時間。面對大數(shù)據(jù)處理的需求,并行數(shù)據(jù)庫系統(tǒng)實現(xiàn)了高效的查詢性能,但是難以擴(kuò)展;而現(xiàn)有的基于MapReduce的數(shù)據(jù)分析系統(tǒng)雖然具有高可擴(kuò)展性和容錯性,但是查詢效率較低。
　　基于MapReduce的關(guān)系數(shù)據(jù)聯(lián)機(jī)分析系統(tǒng)Alovera有效地解決了上述問題,實現(xiàn)了對大規(guī)模關(guān)系數(shù)據(jù)的高效分析。該系

2、統(tǒng)通過使用MapReduce模型整合數(shù)據(jù)庫集群,實現(xiàn)MapReduce框架和數(shù)據(jù)庫系統(tǒng)對查詢?nèi)蝿?wù)的共同執(zhí)行。針對關(guān)系數(shù)據(jù)分析任務(wù)的特點(diǎn),Alovera系統(tǒng)從數(shù)據(jù)的存儲方式、查詢計劃和查詢執(zhí)行三個方面進(jìn)行優(yōu)化。系統(tǒng)使用面向列的關(guān)系數(shù)據(jù)存儲方式,在查詢執(zhí)行時動態(tài)地進(jìn)行數(shù)據(jù)導(dǎo)入。通過基于查詢的數(shù)據(jù)導(dǎo)入方式,系統(tǒng)生成優(yōu)化的查詢計劃,將盡可能多的查詢?nèi)蝿?wù)分配給數(shù)據(jù)庫執(zhí)行。此外,系統(tǒng)對MapReduce框架進(jìn)行了擴(kuò)展,使得數(shù)據(jù)在MapReduce作