基于云計算的分布式處理框架的研究與設計.pdf

1、隨著電子商務的蓬勃發(fā)展，與國際貿易相關的各種數(shù)據也呈井噴式的增長。為了解決國際貿易中的若干關鍵技術問題，本文設計了基于云計算的分布式處理框架來滿足項目對海量數(shù)據的存儲管理、災難備份、信息服務的質量保證、業(yè)務信息的高效率統(tǒng)計以及電子單證轉換各方面的要求。該設計方案充分利用了大規(guī)模集群計算機的存儲、計算資源，而且可以方便、低代價的對集群進行擴展，為國際貿易企業(yè)間的合作與信息交互建立良好的技術支撐。
　　本文所設計的分布式處理框架采用層

2、次式的架構，自底向上分別是硬件資源管理層、業(yè)務邏輯層、用戶交互層。三層之間彼此獨立，由下層向上層提供功能調用接口，每一層內部的變化不會對其他層產生影響，可以很方便的對框架進行改進和擴展。硬件資源管理層采用了云計算開源框架Hadoop對集群的硬件資源進行管理；業(yè)務邏輯層采用了Spring開源框架技術和MapReduce編程模式，利用底層提供的接口實現(xiàn)了用戶管理、文件管理、業(yè)務信息統(tǒng)計、電子單證轉換、編程接口調用等業(yè)務功能；用戶交互層采用S

3、truts2架構結合多種Web前端技術搭建，負責集群與用戶的交互，根據用戶請求調用相應的業(yè)務層功能模塊完成用戶請求。
　　針對項目多用戶、短作業(yè)較多的需求，對MapReduce編程模型的作業(yè)調度方式進行了深入的研究。通過大量的實驗和對已有作業(yè)調度算法的研究分析，結合項目本身特點，設計了兩級隊列期限驅動的作業(yè)調度算法。該算法將作業(yè)隊列分為長作業(yè)隊列和短作業(yè)隊列，更好的滿足了短作業(yè)隊列的需求，避免了長作業(yè)長期占用集群資源的弊端，并在一

4、定程度上實現(xiàn)了作業(yè)的并行運行，提高了集群的資源利用率。通過給作業(yè)設置最后執(zhí)行期限，讓到達執(zhí)行期限的作業(yè)被賦予最高的優(yōu)先級優(yōu)先處理，并能獲得更多的集群資源分配，很好的滿足了用戶實時性的需求。通過將暫時不能被分配到持有該任務數(shù)據的節(jié)點資源的任務延遲一段時間執(zhí)行，更好的實現(xiàn)了數(shù)據本地化，提高了集群的執(zhí)行效率。
　　最后，對本文所做的優(yōu)化和改進進行了大量的實驗驗證和比對。首先證實了通過參數(shù)的合理配置有效的提升了框架的性能，然后證實了本文所