Hadoop自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展，特別是移動(dòng)互聯(lián)網(wǎng)的到來(lái)，上網(wǎng)的人群越來(lái)越多，隨之而來(lái)的是產(chǎn)生大量的數(shù)據(jù)。同時(shí)，數(shù)據(jù)的增長(zhǎng)速度十分迅速，對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)與計(jì)算將變得非常的困難。Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，通過(guò)Hadoop能夠幫助很多企業(yè)解決海量數(shù)據(jù)的存儲(chǔ)與計(jì)算問(wèn)題。Hadoop作為一個(gè)開(kāi)源的分布式框架，以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理，受到很多公司的青睞，很多大公司的Hadoop集群的規(guī)模已經(jīng)非常龐

2、大。所以，對(duì)Hadoop集群進(jìn)行有效的運(yùn)維，可以極大地提升運(yùn)維人員工作的效率，避免重復(fù)繁雜的運(yùn)維工作。
　　Hadoop自動(dòng)化運(yùn)維管理系統(tǒng)是公司實(shí)際的Hadoop運(yùn)維項(xiàng)目，嚴(yán)格按照標(biāo)準(zhǔn)軟件系統(tǒng)建設(shè)流程進(jìn)行。項(xiàng)目從數(shù)據(jù)流上可劃分成兩大部分，基于Ansible的Hadoop自動(dòng)化運(yùn)維平臺(tái)和基于J2EE（Java2 Platform Enterprise Edition，Java2平臺(tái)企業(yè)版）的Hadoop管理平臺(tái)。其中，Hadoop自

3、動(dòng)化運(yùn)維平臺(tái)主要是通過(guò)Ansible對(duì)Hadoop集群進(jìn)行自動(dòng)化運(yùn)維，Hadoop管理平臺(tái)主要是對(duì)Hadoop集群的信息進(jìn)行管理，給用戶提供工單服務(wù)，給運(yùn)維人員提供一個(gè)基于Web的可視化圖形操作界面，對(duì)接Ansible。本人獨(dú)立完成Hadoop管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)，主要包括五個(gè)模塊，分別是資產(chǎn)管理模塊、權(quán)限管理模塊、工單模塊、運(yùn)維模塊、用戶中心模塊。資產(chǎn)管理主要負(fù)責(zé)登記管理集群信息、網(wǎng)格信息、服務(wù)器信息、客戶機(jī)信息和項(xiàng)目信息。權(quán)限管理主

4、要負(fù)責(zé)對(duì)用戶的操作權(quán)限進(jìn)行劃分。工單模塊主要負(fù)責(zé)為公司員工提供公司業(yè)務(wù)需求解決通道，例如，申請(qǐng)hdfs空間擴(kuò)容。運(yùn)維模塊主要負(fù)責(zé)為hadoop運(yùn)維人員提供便捷運(yùn)維通道。用戶中心主要負(fù)責(zé)管理用戶基本信息，工單處理記錄，待審批工單及待處理工單等操作入口。整個(gè)項(xiàng)目采用MVC設(shè)計(jì)模式，由SpringMVC，Spring，Hibernate三大Web開(kāi)發(fā)框架整合而成，其中工單模塊基于Activiti流程引擎實(shí)現(xiàn)，運(yùn)維模塊通過(guò)Jenkins對(duì)接An