移動Hadoop集群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、近年來隨分布式計算理論的發(fā)展成熟和大數(shù)據(jù)技術(shù)的落地，在技術(shù)潮流和國家政策導(dǎo)向的雙重推動下，分布式集群系統(tǒng)的應(yīng)用正日漸廣泛。集群監(jiān)控需要對集群環(huán)境和節(jié)點的硬件與服務(wù)進(jìn)行便捷地監(jiān)控并及時察覺和處理異常狀況。目前的Hadoop集群監(jiān)控系統(tǒng)通常采用電子郵件和SMS短消息進(jìn)行異常告警，運(yùn)維人員在接到告警后需置身現(xiàn)場或通過PC接入目標(biāo)VPN(Virtual Private Network，虛擬專用網(wǎng)絡(luò))網(wǎng)絡(luò)方能查看集群狀況并組織人員排查解決異常，這

2、在一定程度上影響運(yùn)維人員對集群異常的響應(yīng)速度，工作效率受到限制。為解決上述問題，需要開發(fā)基于通用移動智能設(shè)備的Hadoop集群監(jiān)控系統(tǒng)。
　　論文選題來源于實際工程應(yīng)用，從大數(shù)據(jù)分析處理生產(chǎn)現(xiàn)場運(yùn)維人員的實際需求出發(fā)，提出了一種基于Hybrid-App（混合模式移動應(yīng)用）的移動Hadoop集群監(jiān)控系統(tǒng)解決方案，滿足以通用移動端智能設(shè)備監(jiān)控Hadoop集群的需求。系統(tǒng)具體的功能包括節(jié)點狀態(tài)監(jiān)控、Hadoop服務(wù)監(jiān)控、告警推送和配置管

3、理等功能。核心監(jiān)控系統(tǒng)采用C/S架構(gòu)，系統(tǒng)Server端集成了Ganglia和Nagios作為指標(biāo)采集器和告警引擎，以RESTful風(fēng)格的API為查詢Hadoop集群狀態(tài)和執(zhí)行運(yùn)維任務(wù)提供接口，通過內(nèi)置基于Jersey的反向代理模塊為移動端提供Ganglia或Nagios的Web-App，同時提供移動端接口和Agent端接口，用來同移動端應(yīng)用和系統(tǒng)Agent端通信;系統(tǒng)Agent端部署于被監(jiān)控節(jié)點，通過心跳連接向系統(tǒng)Server端上報自

4、身及節(jié)點部分狀態(tài)信息，同時拉取系統(tǒng)Server端緩存的指令隊列，進(jìn)而在本地依次執(zhí)行隊列中的指令;移動端集群監(jiān)控交互界面由Web-App的形式加載，以此簡化跨平臺開發(fā)過程，并很大程度上解決了Android平臺的碎片化問題?？紤]到系統(tǒng)的數(shù)據(jù)安全，論文參考SSL（Secure Socket Layer，安全套接層）協(xié)議為移動端與服務(wù)端設(shè)計和實現(xiàn)了一種輕量級安全信道。
　　作者參與了該系統(tǒng)需求分析及設(shè)計研發(fā)全過程，重點完成對系統(tǒng)服務(wù)器端安

5、全模塊、系統(tǒng)服務(wù)器端的移動端接口模塊、系統(tǒng)Agent端的指令隊列模塊和指令執(zhí)行器模塊、安全信道協(xié)議包以及移動端Android平臺應(yīng)用的設(shè)計與實現(xiàn)。此外也參與了系統(tǒng)其它組件的開發(fā)與測試工作，并在生產(chǎn)環(huán)境對該系統(tǒng)初代版本進(jìn)行了集成部署。
　　論文設(shè)計完成的基于通用移動端智能設(shè)備的Hadoop集群監(jiān)控系統(tǒng)目前處于內(nèi)部測試階段，運(yùn)維人員可通過移動端平臺接收Nagios告警，也可在任何移動智能設(shè)備上開啟集群監(jiān)控的交互界面，大大提高了對集群異