Hadoop框架的擴展和性能調(diào)優(yōu).pdf

1、云計算作為一種新的概念在2007年成為了人們熱議的話題,在隨后的幾年內(nèi)云計算得到了快速的發(fā)展。從計算模式來看,云計算、分布式計算和網(wǎng)格計算有很多相似之處,深入研究云計算產(chǎn)生的背景就可以看出,云計算是在分布式計算和網(wǎng)格計算的基礎(chǔ)之上發(fā)展起來的。以前的分布式計算和網(wǎng)格計算主要用于科學(xué)研究方面,隨著互聯(lián)網(wǎng)的迅速發(fā)展,分布式計算和網(wǎng)格計算的思想逐漸演化為一種更適合商用的計算模式-云計算。
　　論文首先介紹了云計算與網(wǎng)格計算的相關(guān)背景知識,

2、并分析了兩者之間的區(qū)別,然后對云計算平臺Hadoop核心組成MapReduce、HDFS(Hadoop Distributed File System)和Hbase等的關(guān)鍵技術(shù)進行詳細(xì)的分析與研究。接著詳細(xì)介紹了LSF(Load Sharing Facility)系統(tǒng)的架構(gòu)組成,包括LSF base和LSF batch兩部分,并對LSF的作業(yè)執(zhí)行流程和系統(tǒng)負(fù)載均衡進行了深入細(xì)致的分析。
　　論文在對Hadoop系統(tǒng)深入研究分析之后

3、,發(fā)現(xiàn)Hadoop在面對企業(yè)級應(yīng)用時有3大不足,分別是單點故障、調(diào)度算法單一、異構(gòu)平臺兼容性差。針對這幾點不足,論文對Hadoop系統(tǒng)與LSF系統(tǒng)進行了關(guān)聯(lián)性整合,形成一個新的系統(tǒng)LSH(Load Share Hadoop)。系統(tǒng)整合主要有兩大結(jié)合點,第一,將LSF的作業(yè)控制機制LIM(Load Information Manager)、RES(Remote Execution Server)和SBD(sbatch,一個守護進程)加入到

4、Hadoop系統(tǒng)的HDFS層與MapReduce層之間;第二,LSF的master節(jié)點與HDFS的NameNode之間通過開放接口共享信息。整合后的系統(tǒng)LSH有效地防止了Hadoop系統(tǒng)的單點故障問題,也解決了Hadoop調(diào)度算法單一的問題和Hadoop對異構(gòu)平臺的兼容性問題。
　　論文最后針對整合后的系統(tǒng)LSH和原生態(tài)的Hadoop系統(tǒng)設(shè)計了不同的實驗,分別來驗證兩系統(tǒng)對單點故障的處理、差異性作業(yè)的性能和異構(gòu)平臺的適應(yīng)性方面的表