Storm集群的高可用性關(guān)鍵技術(shù)研究.pdf

1、近年來，諸多大數(shù)據(jù)環(huán)境下的應(yīng)用呈現(xiàn)數(shù)據(jù)多源并發(fā)、數(shù)據(jù)聚合、在線實時處理的特征。原本承載著海量數(shù)據(jù)處理任務(wù)的Hadoop MapReduce計算框架，在實時數(shù)據(jù)處理方面，存在響應(yīng)時間和及時性方面的諸多限制。這促進了實時數(shù)據(jù)處理相關(guān)技術(shù)的迅速發(fā)展，實時計算成為了目前大數(shù)據(jù)領(lǐng)域的研究熱點。
　　Storm作為應(yīng)用于實時數(shù)據(jù)處理領(lǐng)域的大數(shù)據(jù)處理工具，可以簡單可靠地處理大量數(shù)據(jù)流，具有廣泛的應(yīng)用場景，國內(nèi)外很多企業(yè)都在研究和構(gòu)建基于Stor

2、m的實時計算系統(tǒng)。但是早期的Storm集群中，Nimbus節(jié)點只有一個，存在分布式系統(tǒng)中的單點故障問題，降低了集群的可用性，很難保證對外提供持續(xù)不間斷的服務(wù)。而且在現(xiàn)如今的實際生產(chǎn)環(huán)境中，集群版本和業(yè)務(wù)類型復(fù)雜多樣，Storm自身又缺少完整的監(jiān)控運維系統(tǒng)，如果不能及時發(fā)現(xiàn)異常情況，將給企業(yè)和用戶造成難以預(yù)計的損失。如何避免損失，實現(xiàn)Storm集群的高可用性，成為企業(yè)不得不面臨的一個重要問題。
　　本文首先研究了實時計算系統(tǒng)Stor

3、m，詳細分析了Storm的工作原理、作業(yè)提交處理流程以及各個節(jié)點的工作機制。針對Nimbus的單點故障問題，進一步分析了分布式協(xié)調(diào)系統(tǒng)Zookeeper，對其體系結(jié)構(gòu)、數(shù)據(jù)模型、ZAB協(xié)議以及典型的應(yīng)用場景進行了深入的研究。在此基礎(chǔ)上，分析探討一種基于Zookeeper的實現(xiàn)單個Storm集群自動故障切換的高可用性解決方案，并從領(lǐng)導(dǎo)選舉與故障轉(zhuǎn)移、Topology代碼共享存儲、客戶端與Nimbus通信等方面進行了詳細的闡述。結(jié)合當(dāng)前企業(yè)

4、的多集群工作環(huán)境，提出一種基于Zookeeper的多集群Storm高可用性解決方案，集群間提供冗余機制，當(dāng)一個集群整體故障時可以快速把拓撲遷移到其他集群。通過制定計劃任務(wù)和實現(xiàn)實時報警服務(wù)完善監(jiān)控運維模塊，實時監(jiān)控集群狀況和拓撲運行狀態(tài)，保證集群的高效穩(wěn)定。
　　最后，通過搭建實驗環(huán)境對高可用性解決方案進行測試，驗證了該方案的可行性和有效性。實驗結(jié)果表明，該方案能夠及時發(fā)現(xiàn)定位問題并完成故障恢復(fù)工作，提高了Storm集群的可用性。