Hadoop集群監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)云計(jì)算飛速發(fā)展,分布式集群系統(tǒng)也被廣泛應(yīng)用,發(fā)展云計(jì)算技術(shù)已經(jīng)成為國(guó)家搶占經(jīng)濟(jì)和科技發(fā)展制高點(diǎn)的核心戰(zhàn)略選擇,研究和發(fā)展云計(jì)算技術(shù)、將原有信息化建設(shè)基礎(chǔ)設(shè)施向云計(jì)算平臺(tái)遷移,是未來(lái)十年政府信息化建設(shè)的主流方向,Hadoop集群成為IT界眾多大公司的應(yīng)用熱點(diǎn)之一。由于Hadoop集群是由眾多計(jì)算機(jī)組成的集群這一特點(diǎn),對(duì)于該計(jì)算機(jī)集群的監(jiān)控、管理就成為了一大難點(diǎn)。為了能及時(shí)發(fā)現(xiàn)集群中的問(wèn)題,較短的時(shí)間內(nèi)采取相應(yīng)的措施,Hadoop集群

2、管理員需要不停地采集性能數(shù)據(jù),分析各個(gè)節(jié)點(diǎn)的狀態(tài),并準(zhǔn)確發(fā)現(xiàn)節(jié)點(diǎn)上出了什么問(wèn)題,這就需要Hadoop集群監(jiān)控系統(tǒng)來(lái)進(jìn)行輔助。而Hadoop集群如此大的數(shù)據(jù)量,監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)也會(huì)成為一大問(wèn)題,這就需要對(duì)分布式系統(tǒng)和非關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行研究和結(jié)合,來(lái)處理這個(gè)問(wèn)題。
　　本文主要設(shè)計(jì)并完成開(kāi)發(fā)Hadoop集群監(jiān)控系統(tǒng),該監(jiān)控系統(tǒng)對(duì)Hadoop集群系統(tǒng)中物理節(jié)點(diǎn)與虛擬機(jī)進(jìn)行性能監(jiān)控、分布式文件系統(tǒng)監(jiān)控以及作業(yè)任務(wù)監(jiān)控,為了方便Hadoop集