Hadoop集群監(jiān)控系統(tǒng)的研究與應(yīng)用.pdf

1、隨著信息化建設(shè)的高速發(fā)展,傳統(tǒng)的基礎(chǔ)設(shè)施也在不斷的向云平臺遷移,而云計算也在2013年成為政府未來幾年信息化建設(shè)的一個主流方向。其中基于Hadoop所搭建的云計算平臺是目前最為主流熱門的應(yīng)用,被世界各大IT業(yè)巨頭廣泛的使用和發(fā)展。隨著Hadoop云計算平臺搭建成功和使用過程中的不斷擴容, Hadoop其自帶的監(jiān)控系統(tǒng)已經(jīng)無法勝任對集群全面了解和掌握的任務(wù),這也為平臺的管理和監(jiān)控帶來了難題。這時候一個功能全面,能夠讓管理人員隨時隨地及時掌

2、握平臺各種信息的監(jiān)控系統(tǒng)就顯得尤為重要。而當前,對資源的監(jiān)控研究主要集中在網(wǎng)格計算,很少有談及對Hadoop平臺的監(jiān)控,而對網(wǎng)格計算的監(jiān)控并不能快速的反應(yīng)Hadoop平臺的狀態(tài),遠遠低于Hadoop平臺的監(jiān)控需求。
　　本文首先對現(xiàn)有的一些主流監(jiān)控系統(tǒng)進行分析與對比,并以江西電信的Hadoop云計算平臺為背景,針對該平臺的網(wǎng)絡(luò)結(jié)構(gòu)、信息安全的要求、業(yè)務(wù)需求、功能需求等方面,通過分析與規(guī)劃,采用 Nagios和 Ganglia這兩套

3、開源的監(jiān)控工具。根據(jù)這兩套軟件的優(yōu)缺點,進行優(yōu)勢互補,并根據(jù)現(xiàn)有Hadoop集群的實際情況,開發(fā)和設(shè)計出一套監(jiān)控系統(tǒng),能夠完全和實時的監(jiān)控Hadoop平臺。該監(jiān)控系統(tǒng)能夠?qū)adoop平臺進行監(jiān)控,對集群各個節(jié)點性能指標進行監(jiān)控,針對信息安全考慮采用分布式構(gòu)架,各種監(jiān)控指標和信息能夠以Web頁面圖表方式直觀的展示,管理員更加輕松的集群管理和全面了解掌握集群信息。監(jiān)控系統(tǒng)能夠在集群出現(xiàn)故障時,以多種方式快速的告警通知管理人員,提高集群的運