版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、當(dāng)下,隨著“云計算(Cloud Computing)”平臺的火熱發(fā)展,越來越多的高校、研究所、IT公司以及互聯(lián)網(wǎng)企業(yè)開始深入研究并開展云平臺的項目,以求能更好地面對“大數(shù)據(jù)(Big Data)”時代的來臨。而在這其中,ApacheHadoop作為完全開源的云平臺,受到了大多數(shù)企業(yè),工程師以及專家學(xué)者的青睞,紛紛參與到了Hadoop云計算平臺的研究和開發(fā)中。
而隨著“云計算”的火熱發(fā)展,“云服務(wù)”供應(yīng)商正在面臨著越來越巨大,越來
2、越復(fù)雜的數(shù)據(jù)處理。各種PB級別的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)讓現(xiàn)有的Hadoop平臺處理起來非常地吃力。此時,原生Hadoop在某些特殊作業(yè)的背景下已經(jīng)難以有效地應(yīng)對用戶所提交的各種復(fù)雜任務(wù)了。
本文正是針對目前Map Reduce框架下Hadoop現(xiàn)有調(diào)度器在處理大內(nèi)存需求作業(yè)時出現(xiàn)的任務(wù)等待時間過長,作業(yè)完成時間過高等問題,研究了不同調(diào)度器的調(diào)度策略,提出并設(shè)計了基于模擬退火算法的隊列級別調(diào)度策略。通過采用隊列資源利用率作為退火概
3、率,將作業(yè)期望完成時間、資源量限制等作為設(shè)計參數(shù),利用模擬退火算法的高效率、低初始條件約束等特點,優(yōu)化計算能力調(diào)度器的調(diào)度效果。本文所做工作如下:
首先,針對目前的Hadoop平臺,分析,研究了Hadoop的設(shè)計理念,運行機制,掌握了MapReduce的處理框架,并對Hadoop現(xiàn)有調(diào)度器進行了深人的學(xué)習(xí),包括Hadoop默認的FIFO先進先出調(diào)度器,Hadoop中自帶的公平調(diào)度器,計算能力調(diào)度器,以及在MapReduce事項
4、列表中正式提出且已設(shè)計出但尚未在Hadoop2.0之前的版本中正式使用的資源感知調(diào)度器和自適應(yīng)調(diào)度器。針對以上五種調(diào)度器,探討了它們的設(shè)計理念,并對它們的調(diào)度機理進行了研究和分析,指出了目前各種調(diào)度器中所存在的不同問題。
然后,根據(jù)之前的工作中所總結(jié)的在現(xiàn)有各種調(diào)度器中所存在的普遍問題,本文提出并設(shè)計了一種新型的調(diào)度器,能有效地解決之前調(diào)度器中所存在的對大內(nèi)存需求作業(yè)調(diào)度吃緊的問題。設(shè)計思路采用改進型的模擬退火算法,首先對傳統(tǒng)
5、的模擬退火算法進行了分析,之后對如何在調(diào)度器中應(yīng)用給出了改進方法,根據(jù)Hadoop平臺下的調(diào)度器原理進行了基于模擬退火算法新型調(diào)度策略的設(shè)計并依據(jù)該策略開發(fā)了新型的Hadoop調(diào)度器。
最后,本文對新型調(diào)度器進行了實際情況測試,包括Hadoop中實現(xiàn)調(diào)度器的自由切換,針對不同類型作業(yè)的調(diào)度情況測試,在同一種作業(yè)下與計算能力調(diào)度器的調(diào)度對比測試等等。經(jīng)過實驗驗證,本文所設(shè)計的新型調(diào)度器對大內(nèi)存需求作業(yè)進行調(diào)度時能有效地降低任務(wù)等
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 模擬退火算法的改進
- 遺傳-模擬退火算法論文遺傳-模擬退火算法 改進的遺傳-模擬退火算法 公交排班
- 基于模擬退火遺傳算法的云計算任務(wù)調(diào)度的研究.pdf
- Hadoop平臺下的作業(yè)調(diào)度算法的研究.pdf
- 云平臺下基于多適應(yīng)度的改進任務(wù)調(diào)度算法.pdf
- 基于Hadoop云平臺下的協(xié)同過濾算法研究.pdf
- 基于改進遺傳模擬退火算法的排課問題研究.pdf
- Hadoop云平臺調(diào)度算法研究.pdf
- 基于遺傳模擬退火算法的網(wǎng)格任務(wù)調(diào)度研究.pdf
- Hadoop平臺下基于遺傳算法的作業(yè)調(diào)度研究.pdf
- 基于模擬退火算法的無人化車間AGV調(diào)度研究.pdf
- 基于遺傳算法和模擬退火算法的網(wǎng)格任務(wù)調(diào)度策略.pdf
- Hadoop平臺下的作業(yè)調(diào)度算法研究及應(yīng)用.pdf
- 基于Hadoop平臺的作業(yè)調(diào)度算法研究與改進.pdf
- Hadoop平臺下調(diào)度算法和下載機制的優(yōu)化.pdf
- 基于改進的模擬退火算法的波前校正方法研究.pdf
- 基于遺傳模擬退火算法的航班著陸調(diào)度問題.pdf
- 基于模擬退火的粒子群改進算法的研究與應(yīng)用.pdf
- 云平臺下任務(wù)調(diào)度算法的研究.pdf
- 模擬退火算法
評論
0/150
提交評論