基于PlatformLSF平臺MapReduce的設(shè)計與實現(xiàn).pdf

1、MapReduce，一個強大的編程模型，逐漸成為一個廣受歡迎的編程框架。它對于大規(guī)模的數(shù)據(jù)密集型計算是非常高效的。MapReduce編程模型有可能成為HPC（High Performance Computing）環(huán)境中潛在的新方法，而且很多人熱衷于研究其適用性。MapReduce工作負(fù)載可能只占總工作負(fù)載的一小部分，但是它們通常需要自己的獨立的環(huán)境，因此很難在傳統(tǒng)的高性能計算集群中支持。HPC集群通常使用并行文件系統(tǒng)，比如IBM GPF

2、S（global parallel file system）或者Lustre。
　　IBM PlatformLSF（load sharing facility）為HPC環(huán)境提供高級資源管理和高級資源調(diào)度。LSF是一個企業(yè)級軟件，在現(xiàn)存的異構(gòu)IT資源上分配工作，創(chuàng)建一個共享的靈活的具有容錯性的基礎(chǔ)設(shè)施，在提供更快、更可靠的工作負(fù)載性能的同時降低成本。LSF最大限度地發(fā)揮HPC集群的性能優(yōu)勢。HPC高性能計算利用并行處理高效、可靠并快

3、速地運行高級應(yīng)用程序。LSF用戶希望在LSF環(huán)境下提交并運行MapReduce應(yīng)用，因此IBM公司決定啟動該項目，本人有幸參與其中。為了實現(xiàn)MapReduce應(yīng)用在LSF HPC環(huán)境下運行，本文使用了兩種方法。
　　第一種方法，即LSF基于Hadoop實現(xiàn)MapReduce應(yīng)用，允許用戶提交Hadoop MapReduce工作負(fù)載作為LSF常規(guī)并行作業(yè)且在HPC集群環(huán)境下運行，其中為用戶提供一個腳本，用戶將腳本和MapReduce

4、工作作為LSF作業(yè)請求資源。一旦LSF作業(yè)啟動運行，腳本就會在分配的資源上自動提供一個Hadoop集群，用戶不需要獲得root特權(quán)就可以基于提供的資源在HPC環(huán)境下配置Hadoop集群。由于每個LSF Hadoop作業(yè)擁有自己的資源/集群，因此本方法允許多個用戶共享高性能計算集群資源的公共池。LSF使用blaunch技術(shù)來啟動和監(jiān)控LSF作業(yè)分配的Hadoop集群，以至于可以收集MapReduce工作負(fù)載以及控制整個作業(yè)生命周期。關(guān)于是

5、否使用HDFS管理數(shù)據(jù)，本文都進(jìn)行了實驗，同時分別分析并比較了其性能。由于在作業(yè)運行之前需要進(jìn)行Hadoop配置以及啟動守護(hù)進(jìn)程，在作業(yè)運行完成以后要進(jìn)行清理工作，這些都增加了很大的開銷。同時Hadoop集群的故障會直接導(dǎo)致MapReduce任務(wù)的失敗。為了解決第一種方法的不足之處，本文提出了第二種方法
　　第二種方法是MapReduce作業(yè)直接在LSF HPC環(huán)境中運行。在Hadoop框架中MapReduce與HDFS是緊密耦合

6、的，因此需將其從MapReduce框架中提取出來，通過利用內(nèi)在固有的分布式文件系統(tǒng)的功能，設(shè)計了所需的組件。首先是數(shù)據(jù)管理，其中包括輸入數(shù)據(jù)管理和分布以及輸出數(shù)據(jù)收集；其次是對MapReduce作業(yè)進(jìn)行轉(zhuǎn)換使其適用于HPC環(huán)境下的調(diào)度；最后是關(guān)于任務(wù)并行和同步控制，以及容錯機(jī)制。MapReduce模型不僅體現(xiàn)了適用性同時也具備高性能。此設(shè)計使用了IBM GPFS并行文件系統(tǒng)，同時利用了LSF完備的高級資源管理，高級資源調(diào)度以及健壯的容錯