適于復(fù)雜邏輯關(guān)系子任務(wù)的Hadoop調(diào)度系統(tǒng).pdf

1、由通用機(jī)器組成的大規(guī)模集群作為并行計(jì)算的有效途徑之一，廣泛應(yīng)用于科學(xué)及工程中的計(jì)算模擬、海量數(shù)據(jù)處理等復(fù)雜問題中。并行編程模型是并行計(jì)算及開發(fā)并行軟件的基礎(chǔ)，是決定并行程序運(yùn)行的關(guān)鍵因素之一?，F(xiàn)有的編程模型針對(duì)特定的計(jì)算需求，難以有效地通用于不同的應(yīng)用問題。因此設(shè)計(jì)一種具有通用性的并行編程模型成為當(dāng)前研究的重要領(lǐng)域。
　　 通過對(duì)多種并行編程模型的分析總結(jié)，本文提出一種改進(jìn)的編程模型，適用于在大規(guī)模廉價(jià)集群上解決廣泛的應(yīng)用問題，

2、特別是具有復(fù)雜邏輯關(guān)系的子任務(wù)。用戶通過簡(jiǎn)單的接口描述各子任務(wù)的內(nèi)容及子任務(wù)之間的邏輯關(guān)系。模型按照任務(wù)的邏輯關(guān)系和集群的實(shí)時(shí)運(yùn)行情況調(diào)度執(zhí)行任務(wù)，最大程度地利用集群的計(jì)算資源完成計(jì)算。錯(cuò)誤處理和推測(cè)式執(zhí)行機(jī)制使模型具有較高的可靠性。
　　 本文基于Hadoop平臺(tái)，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。采用模塊化設(shè)計(jì)，使用Java語言開發(fā)。系統(tǒng)分為任務(wù)解析、調(diào)度和節(jié)點(diǎn)通信模塊三部分，各模塊之間功能劃分清晰，具有良好的可移植性和擴(kuò)展性。實(shí)驗(yàn)結(jié)