面向大規(guī)模圖數(shù)據(jù)處理的虛擬機管理系統(tǒng)研究與實現(xiàn).pdf

1、隨著電子商務、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術的進一步發(fā)展，數(shù)據(jù)的規(guī)模、產(chǎn)生速度、復雜性均日益增長，標志著人類社會已經(jīng)進入了大數(shù)據(jù)時代。隨著數(shù)據(jù)之間的聯(lián)系變得更加緊密、依賴關系更加復雜，部分數(shù)據(jù)的分布模式逐漸具有圖的特征。傳統(tǒng)的大數(shù)據(jù)處理技術，如MapReduce批處理框架不適用于關系復雜、需要多次迭代的圖數(shù)據(jù)。谷歌的Pregel系統(tǒng)通過并行化的思想，并行地進行頂點計算，大大提高了計算性能，為大規(guī)模圖數(shù)據(jù)處理提供了新的思路?，F(xiàn)有大規(guī)模圖數(shù)據(jù)處理

2、的研究工作均基于Pregel的思想，部分解決了大規(guī)模圖數(shù)據(jù)處理的問題，但仍存在如下的問題:一方面忽略了未隔離應用間的資源競爭而造成的性能衰減;另一方面則忽略了應用各階段對資源的彈性需求而造成的性能下降或者資源浪費問題。為了解決以上的問題，本碩士論文將虛擬化技術引入圖數(shù)據(jù)處理中，通過深入分析圖數(shù)據(jù)處理過程的執(zhí)行特性，并結(jié)合虛擬化良好的進程隔離性以及靈活的資源彈性可管理性，提出面向應用的圖劃分以及資源分配與調(diào)度機制，實現(xiàn)根據(jù)應用的具體執(zhí)行模

3、式來進行資源的彈性供給，以提高圖數(shù)據(jù)處理系統(tǒng)的整體執(zhí)行效率。綜上所述，本論文從以下四個方面開展研究工作:
　　首先，研究大規(guī)模圖數(shù)據(jù)處理應用執(zhí)行模式的抽取和分析機制?；陂_源類Pregel系統(tǒng)進行二次開發(fā)，完成對應用執(zhí)行模式的抽取，并建立執(zhí)行模式與底層資源需求間的映射關系，為后續(xù)虛擬資源的分配與調(diào)度提供可靠的理論依據(jù)，是本文研究工作的基礎。
　　其次，研究應用感知的大規(guī)模圖數(shù)據(jù)劃分方法。大規(guī)模圖數(shù)據(jù)劃分是并行計算的前提。本文

4、在虛擬化環(huán)境中，根據(jù)應用的執(zhí)行模式，對圖數(shù)據(jù)進行合理地劃分，從而減少網(wǎng)絡通訊并且實現(xiàn)負載均衡。對圖數(shù)據(jù)進行合理地劃分一方面有助于更好地進行資源分配與調(diào)度，另一方面可以提升應用的執(zhí)行性能。
　　再次，研究面向應用執(zhí)行模式的虛擬資源分配與調(diào)度機制?；趫?zhí)行模式與底層資源需求的映射關系，設計面向應用的虛擬資源分配與調(diào)度機制，根據(jù)上層應用執(zhí)行模式對資源進行細粒度的分配與調(diào)度，在保證上層應用性能的前提下提高資源利用率。
　　最后，通過

5、部署Openstack軟件以實現(xiàn)虛擬化環(huán)境，在此基礎上，實現(xiàn)了相關理論的研究工作，設計并開發(fā)了大規(guī)模圖數(shù)據(jù)處理平臺nutcat以集成應用特征抽取模塊，應用感知的超塊劃分模塊以及面向應用執(zhí)行模式的虛擬資源分配與調(diào)度模塊，并部署于東南大學云計算中心(SEU CLOUD)真實環(huán)境中。
　　通過在真實的東南大學云計算中心環(huán)境中的實驗結(jié)果表明，本文提出的應用感知的大規(guī)模圖數(shù)據(jù)劃分方法以及面向應用執(zhí)行模式的虛擬資源分配與調(diào)度機制可以顯著地提高