云計算中MapReduce并行計算平臺的研究.pdf

1、云計算作為IT產(chǎn)業(yè)的新生力量，是下一代網(wǎng)絡(luò)服務(wù)技術(shù)發(fā)展的核心趨勢。建立在現(xiàn)有的網(wǎng)絡(luò)技術(shù)上，云計算采用虛擬化技術(shù)在硬件設(shè)備與操作平臺之間建立擁有近乎實(shí)時伸縮性的虛擬機(jī)鏡像。這些虛擬機(jī)以服務(wù)形式出售，并可按照客戶需求進(jìn)行個性化定制，為客戶提供虛擬化的計算、內(nèi)存和存儲等資源。在21世紀(jì)信息爆發(fā)時代，云計算技術(shù)為大數(shù)據(jù)處理的核心技術(shù)-并行計算，提供了一個良好的運(yùn)行環(huán)境。但是，傳統(tǒng)的并行計算框架如MapReduce主要是為靜態(tài)同構(gòu)的計算環(huán)境設(shè)計的

2、。MapReduce主要運(yùn)行在物理機(jī)器中。然而，云計算提供了彈性和成本高效的虛擬機(jī)作為計算資源。在云計算中，通過虛擬機(jī)監(jiān)督器，虛擬機(jī)的資源可根據(jù)用戶的實(shí)際業(yè)務(wù)需求動態(tài)配置，這說明云計算環(huán)境是動態(tài)異構(gòu)的。所以，在云計算中，需要完善現(xiàn)有的MapReduce機(jī)制。
　　本課題提出MapReduce動態(tài)資源調(diào)整機(jī)制，優(yōu)化傳統(tǒng)MapReduce機(jī)制，使得MapReduce動態(tài)資源調(diào)整機(jī)制可充分利用云計算的動態(tài)異構(gòu)特性。本課題的研究分成作業(yè)運(yùn)

3、行前和作業(yè)運(yùn)行時兩個部分。首先在作業(yè)運(yùn)行前通過數(shù)據(jù)抽樣分析將待運(yùn)行作業(yè)劃分為計算密集型或數(shù)據(jù)密集型作業(yè)。上述兩種類型的作業(yè)對虛擬機(jī)有不同的資源需求。本課題在MapReduce作業(yè)運(yùn)行前為不同類型的作業(yè)分配不同資源配置的虛擬機(jī)以達(dá)到資源利用最大化，從而充分提高M(jìn)apReduce的性能。然后在作業(yè)運(yùn)行時，根據(jù)虛擬機(jī)的資源負(fù)載情況動態(tài)調(diào)整虛擬機(jī)資源。由于經(jīng)濟(jì)成本的限制，本課題采用實(shí)驗(yàn)研究的方法，對資源負(fù)載的閾值和其他因素值的設(shè)定給出相應(yīng)的建議