版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、當(dāng)前各種互聯(lián)網(wǎng)應(yīng)用都面臨著海量數(shù)據(jù)的存儲和處理問題,飛速增長數(shù)據(jù)對數(shù)據(jù)處理系統(tǒng)的可擴展性提出了巨大的挑戰(zhàn)。以 MapReduce為典型的云技術(shù)的興起,為海量數(shù)據(jù)的處理提供了一套可行的解決方案。作為MapReduce框架的開源實現(xiàn),Hadoop也越來越受到各企業(yè)的青睞,一方面它提供了HDFS,為海量數(shù)據(jù)的存儲提供可靠、高可擴展的存儲平臺,另一方面,它實現(xiàn)了MapReduce框架,簡化了并行應(yīng)用程序的設(shè)計難度,為大規(guī)模并行數(shù)據(jù)處理提供了簡單
2、易用的編程框架。
然而,隨著Hadoop集群規(guī)模的不斷擴大,許多基于Hadoop平臺的benchmark的測試不能反映生產(chǎn)集群的真實負(fù)載特征。同時搭建一個同等規(guī)模的測試集群,需要一筆昂貴的開銷。同時,作為Hadoop平臺性能調(diào)優(yōu)的一個重要方面,調(diào)度器性能一直都是人們重點關(guān)注的問題。而且隨著集群用戶和作業(yè)的不斷增加,用戶對作業(yè)的響應(yīng)性能也有不同的要求,共享集群中的作業(yè)調(diào)度問題日漸突出。許多現(xiàn)存的調(diào)度器,如公平調(diào)度器,計算能力調(diào)度
3、器,HOD等在面對這些問題特別是面對作業(yè)類型多樣化問題時,都顯得有些無能為力。本文在分析Hadoop平臺原理和技術(shù)的基礎(chǔ)上進行以下兩個方面的研究工作:
?。?)提出一種負(fù)載生成方法,通過分析真實負(fù)載中的作業(yè)類型,以及還原真實負(fù)載的作業(yè)提交模型來模擬集群中的真實負(fù)載。同時本文設(shè)計了一個MapReduce模擬器,能使用少量節(jié)點模擬出大規(guī)模集群,并對作業(yè)的運行過程進行了精確模擬,從而提供了一個完整的Hadoop集群性能測試平臺,幫助解
4、決大規(guī)模集群的測試問題。經(jīng)過實驗驗證,負(fù)載生成方法可以精確生成反映真實負(fù)載的模擬負(fù)載,模擬器可以通過少量節(jié)點模擬出大規(guī)模集群,并提供較為精確的作業(yè)運行模擬。
?。?)針對作業(yè)多樣化問題提出了基于靜態(tài)優(yōu)先級的搶占調(diào)度算法(SPPSA,Static Priority based Preemptive Scheduling Algorithm),該調(diào)度算法將調(diào)度問題分解為作業(yè)池調(diào)度,作業(yè)優(yōu)先級調(diào)度,任務(wù)調(diào)度等三個問題,從而提供了作業(yè)池
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 面向多媒體網(wǎng)絡(luò)模擬器的設(shè)計與應(yīng)用.pdf
- 雷達模擬器的研究與設(shè)計.pdf
- 聚焦型太陽模擬器的設(shè)計與性能分析.pdf
- 面向深空通信的信道模擬器設(shè)計.pdf
- 可見光-紅外復(fù)合模擬器的裝調(diào)及性能測試.pdf
- 多星模擬器的設(shè)計與研究.pdf
- 目標(biāo)模擬器控制性能的研究.pdf
- 面向空間網(wǎng)絡(luò)的星地鏈路模擬器設(shè)計與實現(xiàn).pdf
- 多核集群上的高性能MapReduce平臺的研究與實現(xiàn).pdf
- 太陽模擬器裝調(diào)方法與測試技術(shù)研究.pdf
- USB模擬器的設(shè)計與實現(xiàn).pdf
- SIP模擬器的設(shè)計與實現(xiàn).pdf
- 面向空間網(wǎng)絡(luò)的星地鏈路模擬器設(shè)計與實現(xiàn)
- 雷達信號模擬器的研究與設(shè)計.pdf
- 衛(wèi)星信道模擬器的研究與設(shè)計.pdf
- 面向SEP0718的SoC芯片功耗模擬器設(shè)計.pdf
- 面向操作順應(yīng)性的鍛造模擬器設(shè)計與評估方法研究.pdf
- 大轉(zhuǎn)角運動模擬器的設(shè)計與研究.pdf
- 提高電動負(fù)載模擬器性能的研究.pdf
- 面向Lustre文件系統(tǒng)的存儲系統(tǒng)模擬器的設(shè)計與實現(xiàn).pdf
評論
0/150
提交評論