基于Hadoop平臺的大數(shù)據(jù)遷移與查詢方法研究及應(yīng)用.pdf

1、高效的數(shù)據(jù)管理系統(tǒng)對于數(shù)據(jù)應(yīng)用管理非常重要，然而數(shù)據(jù)規(guī)模的持續(xù)增長、數(shù)據(jù)類型的不斷變化、非結(jié)構(gòu)化數(shù)據(jù)成為存儲和處理對象等因素，逐漸動搖了傳統(tǒng)關(guān)系數(shù)據(jù)庫的主導(dǎo)地位，僅僅使用傳統(tǒng)關(guān)系數(shù)據(jù)庫已經(jīng)不能很好地解決上述問題，不能滿足經(jīng)濟(jì)有效的存儲、分析和訪問數(shù)據(jù)。
　　Hadoop由于對底層存儲和并行處理透明化，同時擁有高性能的集群計(jì)算和存儲能力，在分布式計(jì)算和大量數(shù)據(jù)處理方面脫穎而出。然而使用Hadoop平臺對大數(shù)據(jù)進(jìn)行處理，并實(shí)現(xiàn)高效率查

2、詢，需要對Hadoop與關(guān)系型數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)的遷移，將數(shù)據(jù)導(dǎo)入到Hadoop中進(jìn)行分析處理，使用Hadoop來優(yōu)化數(shù)據(jù)庫核心工作效率及數(shù)據(jù)庫性能、完成不斷更新的查詢需求。
　　本文在討論研究Hadoop平臺相關(guān)架構(gòu)及數(shù)據(jù)交換原理的基礎(chǔ)上，對基于Hadoop平臺的數(shù)據(jù)遷移提出了MapReduce技術(shù)的實(shí)現(xiàn)方案，MapReduce可以實(shí)現(xiàn)更優(yōu)的并發(fā)性，從而可以體現(xiàn)優(yōu)化數(shù)據(jù)轉(zhuǎn)換的能力。
　　首先深入分析MapReduce工作機(jī)

3、制，及Hadoop三種常用的作業(yè)調(diào)度器。在此基礎(chǔ)上，對MapReduce的作業(yè)調(diào)度器進(jìn)行優(yōu)化設(shè)計(jì)，將公平調(diào)度器與優(yōu)先權(quán)（高響應(yīng)比優(yōu)先）調(diào)度算法相結(jié)合，提出了基于優(yōu)先權(quán)的公平調(diào)度器的改進(jìn)算法，同時以TaskTracker的負(fù)載均衡監(jiān)聽器輔助進(jìn)行調(diào)度工作。
　　然后分析HBase和Hive各自的工作機(jī)制，對Hive-HBase相結(jié)合的數(shù)據(jù)查詢方法進(jìn)行探討，設(shè)計(jì)了一個基于Hive-HBase的數(shù)據(jù)查詢方案。
　　最后，搭建實(shí)驗(yàn)環(huán)境

4、對基于Hadoop平臺的數(shù)據(jù)遷移及數(shù)據(jù)查詢進(jìn)行實(shí)驗(yàn)與分析，對比基于不同調(diào)度算法的遷移性能，以及對比原系統(tǒng)與Hive-HBase相結(jié)合的查詢方案二者進(jìn)行數(shù)據(jù)查詢的效率。
　　經(jīng)過實(shí)驗(yàn)分析，驗(yàn)證了本文構(gòu)建基于Hadoop平臺包括數(shù)據(jù)遷移和查詢的完整數(shù)據(jù)處理的方案是可行的。數(shù)據(jù)遷移過程中對調(diào)度算法的優(yōu)化提高了數(shù)據(jù)遷移性能，同時，使用Hadoop平臺對大數(shù)據(jù)進(jìn)行處理與傳統(tǒng)關(guān)系數(shù)據(jù)庫相比，在查詢效率上體現(xiàn)其優(yōu)勢。因此，本文在對大數(shù)據(jù)進(jìn)行處理