面向性能調(diào)優(yōu)的MapReduce集群模擬器的研究與設(shè)計(jì).pdf

1、當(dāng)前各種互聯(lián)網(wǎng)應(yīng)用都面臨著海量數(shù)據(jù)的存儲(chǔ)和處理問題，飛速增長數(shù)據(jù)對(duì)數(shù)據(jù)處理系統(tǒng)的可擴(kuò)展性提出了巨大的挑戰(zhàn)。以 MapReduce為典型的云技術(shù)的興起，為海量數(shù)據(jù)的處理提供了一套可行的解決方案。作為MapReduce框架的開源實(shí)現(xiàn)，Hadoop也越來越受到各企業(yè)的青睞，一方面它提供了HDFS，為海量數(shù)據(jù)的存儲(chǔ)提供可靠、高可擴(kuò)展的存儲(chǔ)平臺(tái)，另一方面，它實(shí)現(xiàn)了MapReduce框架，簡化了并行應(yīng)用程序的設(shè)計(jì)難度，為大規(guī)模并行數(shù)據(jù)處理提供了簡單

2、易用的編程框架。
　　然而，隨著Hadoop集群規(guī)模的不斷擴(kuò)大，許多基于Hadoop平臺(tái)的benchmark的測試不能反映生產(chǎn)集群的真實(shí)負(fù)載特征。同時(shí)搭建一個(gè)同等規(guī)模的測試集群，需要一筆昂貴的開銷。同時(shí)，作為Hadoop平臺(tái)性能調(diào)優(yōu)的一個(gè)重要方面，調(diào)度器性能一直都是人們重點(diǎn)關(guān)注的問題。而且隨著集群用戶和作業(yè)的不斷增加，用戶對(duì)作業(yè)的響應(yīng)性能也有不同的要求，共享集群中的作業(yè)調(diào)度問題日漸突出。許多現(xiàn)存的調(diào)度器，如公平調(diào)度器，計(jì)算能力調(diào)度

3、器，HOD等在面對(duì)這些問題特別是面對(duì)作業(yè)類型多樣化問題時(shí)，都顯得有些無能為力。本文在分析Hadoop平臺(tái)原理和技術(shù)的基礎(chǔ)上進(jìn)行以下兩個(gè)方面的研究工作：
　?。?）提出一種負(fù)載生成方法，通過分析真實(shí)負(fù)載中的作業(yè)類型，以及還原真實(shí)負(fù)載的作業(yè)提交模型來模擬集群中的真實(shí)負(fù)載。同時(shí)本文設(shè)計(jì)了一個(gè)MapReduce模擬器，能使用少量節(jié)點(diǎn)模擬出大規(guī)模集群，并對(duì)作業(yè)的運(yùn)行過程進(jìn)行了精確模擬，從而提供了一個(gè)完整的Hadoop集群性能測試平臺(tái)，幫助解

4、決大規(guī)模集群的測試問題。經(jīng)過實(shí)驗(yàn)驗(yàn)證，負(fù)載生成方法可以精確生成反映真實(shí)負(fù)載的模擬負(fù)載，模擬器可以通過少量節(jié)點(diǎn)模擬出大規(guī)模集群，并提供較為精確的作業(yè)運(yùn)行模擬。
　?。?）針對(duì)作業(yè)多樣化問題提出了基于靜態(tài)優(yōu)先級(jí)的搶占調(diào)度算法（SPPSA，Static Priority based Preemptive Scheduling Algorithm），該調(diào)度算法將調(diào)度問題分解為作業(yè)池調(diào)度，作業(yè)優(yōu)先級(jí)調(diào)度，任務(wù)調(diào)度等三個(gè)問題，從而提供了作業(yè)池