面向STORM平臺的云計(jì)算調(diào)度性能優(yōu)化方法研究與實(shí)現(xiàn).pdf

1、近年來隨著計(jì)算機(jī)以及網(wǎng)絡(luò)技術(shù)的發(fā)展，以物聯(lián)網(wǎng)大數(shù)據(jù)為代表的實(shí)時(shí)大數(shù)據(jù)流式處理的需求使得傳統(tǒng)的基于批量數(shù)據(jù)處理的Hadoop顯得力不從心，實(shí)時(shí)流式數(shù)據(jù)處理成為近年來研究領(lǐng)域的熱點(diǎn)內(nèi)容之一。Storm作為大數(shù)據(jù)流式處理與并行計(jì)算框架的典型代表，在實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用等領(lǐng)域有著重要的應(yīng)用。隨著Storm的深入應(yīng)用，其在資源和任務(wù)的調(diào)度策略上的缺陷越來越突出。通信代價(jià)作為影響數(shù)據(jù)流式處理效率的重要因素，Storm調(diào)度

2、器沒有將其作為考慮因素;自帶的均衡調(diào)度器依舊會導(dǎo)致負(fù)載不均;并行度參數(shù)需要手動配置;無法根據(jù)集群運(yùn)行狀況對任務(wù)重調(diào)度等等問題將影響Storm集群的運(yùn)行性能。
　　針對這些問題，本文先為Storm建立調(diào)度模型，將Topology歸結(jié)為帶權(quán)圖，以減小通信代價(jià)并保證負(fù)載均衡為目標(biāo)，提出基于啟發(fā)式均衡圖劃分算法的調(diào)度策略;通過負(fù)載檢測作為調(diào)度器的輸入實(shí)現(xiàn)動態(tài)調(diào)度、動態(tài)并行參數(shù)優(yōu)化和重調(diào)度優(yōu)化，通過Topology結(jié)構(gòu)分析實(shí)現(xiàn)靜態(tài)任務(wù)分配。

3、最終減少集群節(jié)點(diǎn)間的數(shù)據(jù)發(fā)送率，并且保持節(jié)點(diǎn)間負(fù)載均衡;減少數(shù)據(jù)處理延時(shí)，提升集群吞吐量，優(yōu)化整體性能。
　　論文主要工作如下:
　　(1)建立Storm優(yōu)化和性能檢測模型。對資源和Task進(jìn)行數(shù)學(xué)化描述，并建立Storm調(diào)度模型。分析Storm框架，對Worker創(chuàng)建性能檢測線程，采集運(yùn)行時(shí)性能數(shù)據(jù)并保存性能日志，建立相應(yīng)的性能檢測模型。
　　(2)提出面向Storm模型的啟發(fā)式均衡圖劃分算法及平衡性調(diào)整迭代策略。將

4、Topology結(jié)構(gòu)以及性能日志的數(shù)據(jù)轉(zhuǎn)化為有向圖的數(shù)學(xué)模型，將Storm的調(diào)度問題歸結(jié)為均衡圖劃分問題。通過仿真實(shí)驗(yàn)對比分析證明本文的K-PART劃分算法及其平衡性調(diào)整迭代優(yōu)化方法效果更優(yōu)。
　　(3)實(shí)現(xiàn)基于圖劃分的調(diào)度器。利用圖劃分算法實(shí)現(xiàn)動態(tài)調(diào)度與靜態(tài)分配優(yōu)化;在動態(tài)調(diào)度時(shí)解決并行度參數(shù)自動優(yōu)化，同時(shí)解決了重調(diào)度優(yōu)化問題。
　　最后，本文建立了Storm運(yùn)行的模擬環(huán)境，通過本文優(yōu)化后實(shí)現(xiàn)的調(diào)度器，驗(yàn)證調(diào)度策略對實(shí)際框