一種Hadoop集群仿真系統(tǒng)的設計.pdf

1、隨著網(wǎng)絡和科技的快速發(fā)展，云計算正在成為21世紀信息領(lǐng)域最熱門的話題，云計算雖然發(fā)展迅速，但仍在起步階段，在各種云計算框架和工具中， Hadoop以其開源性、高拓展性、高可靠性以及高效的性能使其廣受歡迎，并大大的推動了云計算和相關(guān)領(lǐng)域的進步。
　　越來越多的企業(yè)已經(jīng)開始基于Hadoop構(gòu)建自己的云計算系統(tǒng)，并出現(xiàn)了大量的第三方云計算系統(tǒng)，而對于大多數(shù)中小企業(yè)以及個人開發(fā)者而言，不可能有自己的云計算系統(tǒng)，他們往往將自己的程序運行在第

2、三方系統(tǒng)上，并且根據(jù)程序運行時間來付費，而在提交程序之前，往往需要進行程序性能的評估從而計算應付的費用。即使對于有自己集群的企業(yè)和機構(gòu)而言，在正式產(chǎn)品上線之前，也需要對產(chǎn)品進行反復測試，以考量自己程序的運行時間，而這些都是不可能在真實集群上來進行的，因此也需要一個測試的系統(tǒng)，來評估程序在Hadoop集群上的運行時間。雖然這幾年也出現(xiàn)了一些云計算仿真工具，但是卻缺乏Hadoop的仿真工具，在少有的幾款Hadoop仿真工具中，由于較高的抽象

3、以及缺乏配置的靈活性，也使得它們?nèi)狈_度和適應性。
　　本文首先介紹了云計算相關(guān)背景，并深入學習了Hadoop架構(gòu)，特別是對Hadoop的數(shù)據(jù)流和工作流進行了深入研究，然后設計并實現(xiàn)了一個Hadoop的仿真系統(tǒng)，該系統(tǒng)抽象了Hadoop必要的參數(shù)和組件，通過提取作業(yè)的基本信息和集群配置情況，包括Map階段和Reduce階段算法消耗的CPU指令和程序輸入數(shù)據(jù)的大小，以及CPU的運行速度和硬盤IO平均速度，就可以算出程序在Map階段

4、和Reduce階段執(zhí)行算法的時間開銷，然后模擬Hadoop集群的工作流程(包括sort、spill、merge、shuffle等操作)對元數(shù)據(jù)和作業(yè)信息進行處理，最后評估作業(yè)的運行時間等基本性能，經(jīng)過最后的測試，也驗證了仿真系統(tǒng)具有較高的可靠性和準確度，另外仿真系統(tǒng)里集群的各種參數(shù)可以由用戶自己配置，使得用戶可以在各種不同配置的集群下評估自己程序的運行時間，從而找出符合自己程序的最優(yōu)配置，可以大大提高開發(fā)的效率，并有效的節(jié)省能源和開發(fā)成