基于資源狀況的延時(shí)等待公平調(diào)度算法的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，大規(guī)模的數(shù)據(jù)也隨之產(chǎn)生，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式和處理方式已經(jīng)不能滿足海量數(shù)據(jù)對(duì)存儲(chǔ)和處理的需求。云計(jì)算平臺(tái)的出現(xiàn)，則為海量數(shù)據(jù)的存儲(chǔ)和處理提供了一個(gè)很好的解決方案。本文選取具有諸多優(yōu)點(diǎn)的Hadoop云計(jì)算平臺(tái)作為研究對(duì)象。作業(yè)調(diào)度算法是直接關(guān)系著Hadoop平臺(tái)用戶體驗(yàn)和整體性能的關(guān)鍵技術(shù)之一。因此對(duì)Hadoop平臺(tái)作業(yè)調(diào)度算法的研究具有現(xiàn)實(shí)意義。
　　本文首先闡述了Hadoop的背景知識(shí)，深入分析了Hado

2、op平臺(tái)的關(guān)鍵技術(shù)，包括HDFS和MapReduce兩大核心內(nèi)容，并對(duì)Hadoop平臺(tái)上作業(yè)執(zhí)行流程進(jìn)行研究，然后在Linux系統(tǒng)下，以多線程和消息通信為技術(shù)基礎(chǔ)，采用C語(yǔ)言編程對(duì)MapReduce計(jì)算模型進(jìn)行了仿真實(shí)驗(yàn)。
　　然后，針對(duì)Hadoop平臺(tái)現(xiàn)有的公平調(diào)度算法任務(wù)等待超時(shí)時(shí)間對(duì)本機(jī)架和其他機(jī)架不區(qū)分，且為靜態(tài)等不足，給出了基于資源狀況的延時(shí)等待公平調(diào)度算法。該算法通過(guò)采用定期獲取集群資源狀況以確定等待超時(shí)時(shí)間，使其具備