基于云計(jì)算的分布式處理框架的研究與設(shè)計(jì).pdf

1、隨著電子商務(wù)的蓬勃發(fā)展，與國(guó)際貿(mào)易相關(guān)的各種數(shù)據(jù)也呈井噴式的增長(zhǎng)。為了解決國(guó)際貿(mào)易中的若干關(guān)鍵技術(shù)問(wèn)題，本文設(shè)計(jì)了基于云計(jì)算的分布式處理框架來(lái)滿足項(xiàng)目對(duì)海量數(shù)據(jù)的存儲(chǔ)管理、災(zāi)難備份、信息服務(wù)的質(zhì)量保證、業(yè)務(wù)信息的高效率統(tǒng)計(jì)以及電子單證轉(zhuǎn)換各方面的要求。該設(shè)計(jì)方案充分利用了大規(guī)模集群計(jì)算機(jī)的存儲(chǔ)、計(jì)算資源，而且可以方便、低代價(jià)的對(duì)集群進(jìn)行擴(kuò)展，為國(guó)際貿(mào)易企業(yè)間的合作與信息交互建立良好的技術(shù)支撐。
　　本文所設(shè)計(jì)的分布式處理框架采用層

2、次式的架構(gòu)，自底向上分別是硬件資源管理層、業(yè)務(wù)邏輯層、用戶交互層。三層之間彼此獨(dú)立，由下層向上層提供功能調(diào)用接口，每一層內(nèi)部的變化不會(huì)對(duì)其他層產(chǎn)生影響，可以很方便的對(duì)框架進(jìn)行改進(jìn)和擴(kuò)展。硬件資源管理層采用了云計(jì)算開(kāi)源框架Hadoop對(duì)集群的硬件資源進(jìn)行管理；業(yè)務(wù)邏輯層采用了Spring開(kāi)源框架技術(shù)和MapReduce編程模式，利用底層提供的接口實(shí)現(xiàn)了用戶管理、文件管理、業(yè)務(wù)信息統(tǒng)計(jì)、電子單證轉(zhuǎn)換、編程接口調(diào)用等業(yè)務(wù)功能；用戶交互層采用S

3、truts2架構(gòu)結(jié)合多種Web前端技術(shù)搭建，負(fù)責(zé)集群與用戶的交互，根據(jù)用戶請(qǐng)求調(diào)用相應(yīng)的業(yè)務(wù)層功能模塊完成用戶請(qǐng)求。
　　針對(duì)項(xiàng)目多用戶、短作業(yè)較多的需求，對(duì)MapReduce編程模型的作業(yè)調(diào)度方式進(jìn)行了深入的研究。通過(guò)大量的實(shí)驗(yàn)和對(duì)已有作業(yè)調(diào)度算法的研究分析，結(jié)合項(xiàng)目本身特點(diǎn)，設(shè)計(jì)了兩級(jí)隊(duì)列期限驅(qū)動(dòng)的作業(yè)調(diào)度算法。該算法將作業(yè)隊(duì)列分為長(zhǎng)作業(yè)隊(duì)列和短作業(yè)隊(duì)列，更好的滿足了短作業(yè)隊(duì)列的需求，避免了長(zhǎng)作業(yè)長(zhǎng)期占用集群資源的弊端，并在一

4、定程度上實(shí)現(xiàn)了作業(yè)的并行運(yùn)行，提高了集群的資源利用率。通過(guò)給作業(yè)設(shè)置最后執(zhí)行期限，讓到達(dá)執(zhí)行期限的作業(yè)被賦予最高的優(yōu)先級(jí)優(yōu)先處理，并能獲得更多的集群資源分配，很好的滿足了用戶實(shí)時(shí)性的需求。通過(guò)將暫時(shí)不能被分配到持有該任務(wù)數(shù)據(jù)的節(jié)點(diǎn)資源的任務(wù)延遲一段時(shí)間執(zhí)行，更好的實(shí)現(xiàn)了數(shù)據(jù)本地化，提高了集群的執(zhí)行效率。
　　最后，對(duì)本文所做的優(yōu)化和改進(jìn)進(jìn)行了大量的實(shí)驗(yàn)驗(yàn)證和比對(duì)。首先證實(shí)了通過(guò)參數(shù)的合理配置有效的提升了框架的性能，然后證實(shí)了本文所