基于Hadoop的數(shù)據(jù)庫中高效數(shù)據(jù)存取技術(shù)研究.pdf

1、隨著數(shù)據(jù)量的爆炸式增長，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)已經(jīng)無法應(yīng)對大數(shù)據(jù)時代數(shù)據(jù)處理的要求，人們迫切的需要一種能夠?qū)Ａ繑?shù)據(jù)進行存儲和運算的工具，Hadoop在這種環(huán)境下應(yīng)運而生。作為一個分布式系統(tǒng)，Hadoop能夠很好的利用集群來實現(xiàn)對海量數(shù)據(jù)的存儲和運算。目前Hadoop憑借其高可靠性、高擴展性和高容錯性等優(yōu)點已然成為了大數(shù)據(jù)處理的行業(yè)標準。Hadoop設(shè)計之初是用來處理大規(guī)模聚集任務(wù)的，這種任務(wù)往往需要處理全部的數(shù)據(jù)，所以使用Hado

2、op對數(shù)據(jù)進行處理時，會掃描全部的數(shù)據(jù)。但是隨著時間的發(fā)展，人們使用Hadoop執(zhí)行的任務(wù)種類越來越多，許多任務(wù)不需要處理全部的數(shù)據(jù)，比如選擇查詢?nèi)蝿?wù)，在這種情況下Hadoop依然采用原來的數(shù)據(jù)處理方式，這就造成了Hadoop的數(shù)據(jù)存取效率低下的問題。面對這個問題，本文借鑒傳統(tǒng)關(guān)系型數(shù)據(jù)庫的經(jīng)驗，為Hadoop引入索引機制從而改變Hadoop掃描數(shù)據(jù)的處理方式，進而提高Hadoop的數(shù)據(jù)存取效率。
　　本文首先分析了Hadoop的

3、關(guān)鍵組成部分HDFS和MapReduce，然后基于這部分的分析提出了兩種索引方案：基于數(shù)據(jù)塊的全局索引和集群上的分布式索引?；跀?shù)據(jù)塊的全局索引方案首先介紹了分布式有序表的概念，然后從索引的格式、索引文件的存儲、索引的創(chuàng)建和索引的使用四個方面論述了全局索引的實現(xiàn)。集群上的分布式索引方案首先分析了分布式索引的組織形式并對全局索引和局部索引進行了對比，然后詳細闡述了在HDFS集群上分布式索引的實現(xiàn)過程，最后分析了該方案下系統(tǒng)的容錯性。