云計算下計算能力調(diào)度算法的研究與改進.pdf

1、近年來,云計算作為一種新的高性能計算模式成為廣大研究學(xué)者的研究熱點,各大公司也紛紛推出自己的云平臺,如加利福尼亞大學(xué)研究的Eucalyptus,Apache基金會的Hadoop平臺、以及10gen的MongoDB等。其中Hadoop平臺是開源的,現(xiàn)在己被廣泛使用,它具有分布性、效率高、成本低、可靠性強等優(yōu)點,而其中它的一項重要技術(shù)作業(yè)調(diào)度是影響到平臺整體性能與資源利用率的一個關(guān)鍵。作業(yè)調(diào)度技術(shù)是要將進入系統(tǒng)的作業(yè)進行合理的分配與處理,它

2、的目標(biāo)既要使整個系統(tǒng)能夠有序的運行,又要充分有效的利用資源,還要使用戶滿意度盡可能高。但是隨著用戶需求的不斷增多和作業(yè)種類、作業(yè)規(guī)模的不斷增大,目前的調(diào)度算法越來越難滿足用戶的需求,因此研究一種新的作業(yè)調(diào)度算法,既能滿足上述要求,又能結(jié)合實際應(yīng)用具有重大的意義。
　　 目前應(yīng)用廣泛的作業(yè)調(diào)度算法有先進先出(FIFO)算法,這種算法簡單明了,成本低,只適合滿足單作業(yè)或少量作業(yè)的需求;公平調(diào)度算法(FairScheduling al

3、gorithm),它支持多用戶公平地享用資源,能夠滿足大量作業(yè)進入系統(tǒng),但這樣極易造成資源的浪費;計算能力調(diào)度算法(CapacityScheduling algorithm),它吸取了公平算法的不足,根據(jù)作業(yè)的性能分配資源,但這種分配策略過于簡單,容易陷入局部最優(yōu);國內(nèi)一些學(xué)者分別從系統(tǒng)資源、系統(tǒng)配置、作業(yè)等方面下手深入地研究,試圖提出一些改進算法。
　　 本文針對系統(tǒng)的配置,從作業(yè)的總運行時間、平均運行時間與等待時間著手,利用

4、模擬退火算法在組合優(yōu)化問題上能夠避免局部最優(yōu)的優(yōu)勢,結(jié)合計算能力調(diào)度算法,提出了一種基于模擬退火的計算能力調(diào)度算法,構(gòu)建了模擬退火調(diào)度算法的數(shù)學(xué)模型,選擇計算能力調(diào)度算法的默認搜索策略作為初始解,提出一個新的目標(biāo)函數(shù),計算出作業(yè)的解空間,并選擇對數(shù)函數(shù)作為退火策略。該目標(biāo)函數(shù)綜合考慮了作業(yè)的總運行時間和作業(yè)等待時間,旨在提高作業(yè)運行效率的同時減少作業(yè)的等待時間。為了提高學(xué)習(xí)速度對模擬退火作業(yè)調(diào)度算法進行了改進,在算法中加入了記憶功能,可