Storm中自適應任務調度的研究與優(yōu)化.pdf

1、身處大數據時代的開端，越來越多先進的理念和技術在更新著我們對于世界的認識和理解，同時它們也在不斷地提高著人類收集數據，處理數據，存儲數據，理解數據的能力。二十一世紀初，Google公司的三篇論文（BigTable，MapReduce，GFS)開啟了全世界范圍內對大數據技術的研究，許多借鑒Google理念的開源項目如雨后春筍般破土而出帶動了開源技術的發(fā)展。
　　伴隨著大數據技術的發(fā)展，人們對數據的運用能力也達到了前所未有的水平，各種

2、各樣的應用場景需要不同的系統(tǒng)和平臺。對于實時響應要求較高的一些應用，例如監(jiān)控系統(tǒng)，社交網站話題熱點分析等等開始將目光投向流式數據處理。Twitter公司2011年開源的Storm就是其中的佼佼者，目前正被許多大公司所使用。然而 Storm本身的調度機制卻存在著一些問題。
　　本文詳細地介紹了 Storm中默認調度策略的執(zhí)行過程和應用場景，并對其中存在的一些缺陷進行了詳細的分析和驗證。針對其存在的這些缺陷，本文致力于優(yōu)化Storm的

3、任務調度機制并提升運行在Storm上的拓撲的性能，并最終實現了基于負載監(jiān)控的自適應任務調度策略。Storm的默認調度策略使用了簡單的Round-robin的方法來實現任務的調度，可是這種簡單的調度機制完全無法根據集群實時的負載狀態(tài)調整運行其上的拓撲的調度方案。同時，Storm中對于配置不合理的拓撲也完全沒有處理，只是將這個問題拋給了最終用戶來解決。本文實現的自適應任務調度的核心思想就是在監(jiān)控整個集群運行狀態(tài)的基礎上，對于運行中的拓撲以及

4、還未運行過的拓撲提供更好的調度方案，最大程度上減少不必要的開銷，提升整個 Storm集群的性能。
　　本文的主要貢獻如下：
　　1.深入理解和研究Storm中的任務調度機制，提出了許多存在的缺陷和優(yōu)化的方向并通過實驗進行了嚴謹的驗證；
　　2.在Storm的基礎架構上實現了一個負載監(jiān)控器，可以實時的獲取Storm集群上運行中的拓撲中具體執(zhí)行線程的數據以及集群中節(jié)點的負載信息，為整個調度策略提供了數據支持；
　　3