基于關(guān)系數(shù)據(jù)庫和map-reduce的綜合查詢系統(tǒng)設計與實現(xiàn).pdf

1、大數(shù)據(jù)時代已經(jīng)來臨，在大數(shù)據(jù)時代，我們所面臨的問題不僅包括數(shù)據(jù)量相當大，還包括對數(shù)據(jù)的深度分析，以及數(shù)據(jù)格式的多樣性。
　　傳統(tǒng)的關(guān)系型數(shù)據(jù)庫雖然已經(jīng)發(fā)展多年，有很多優(yōu)化技術(shù)，其功能和表達能力不斷增強。但根據(jù)CAP（一致性、可用性、容錯性）理論，這三者只能同時滿足其中兩個，而傳統(tǒng)關(guān)系型數(shù)據(jù)庫追求高的一致性和容錯性，也就喪失了可用性。
　　MapReduce是一種編程模型，設計之初就是用于大規(guī)模數(shù)據(jù)集的并行運算。集群系統(tǒng)具有良

2、好的性價比和可伸縮性，這也使MapReduce成為大規(guī)模海量數(shù)據(jù)平臺的首選原因之一。以上正好解決了數(shù)據(jù)分析所面臨的趨勢和挑戰(zhàn)。而且，Mapreduce模型簡單、易于理解、易于使用。Hadoop是MapReduce的開源實現(xiàn)，Hadoop平臺上有自己的Hive，所以可以很容易的將基于關(guān)系型數(shù)據(jù)庫的系統(tǒng)移植到Hadoop中。
　　本文首先做了一個基于關(guān)系型數(shù)據(jù)庫的查詢系統(tǒng)，考慮到以后數(shù)據(jù)量會很大，所以將該系統(tǒng)移植到Hadoop平臺上。