基于Web的Hadoop集聚監(jiān)管與計費系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、本人實習期間所在的公司和部門是曙光信息產(chǎn)業(yè)股份有限公司（北京）大數(shù)據(jù)研發(fā)部，參與了基于Web的Hadoop集群監(jiān)管與計費系統(tǒng)的開發(fā)工作。該系統(tǒng)能夠統(tǒng)一、科學地監(jiān)測和管理Hadoop集群，簡化技術(shù)人員的部署和維護工作，實現(xiàn)Hadoop環(huán)境安裝配置的可視化，并且提供了計費功能，便于企業(yè)對外提供計算服務(wù)。
　　本人的工作可概括如下:
　　(1)在系統(tǒng)需求分析階段，參與了對系統(tǒng)需求的討論分析，充分了解系統(tǒng)的功能性需求和非功能性需求。

2、
　　(2)在系統(tǒng)設(shè)計與實現(xiàn)階段，完成了如下七個功能模塊的設(shè)計和實現(xiàn)工作:
　　1)Hadoop組件信息采集模塊:針對不同的組件角色，通過不同的方式，周期性地采集Hadoop各個組件信息，支持Hadoop組件信息報警。
　　2)集群狀態(tài)信息采集模塊:周期性采集集群各節(jié)點的硬件資源信息，并支持集群狀態(tài)信息報警。
　　3)作業(yè)信息采集模塊:周期性地采集作業(yè)日志文件進行解析，并獲取作業(yè)信息;
　　4)作業(yè)統(tǒng)計分析

3、模塊:對作業(yè)信息進行統(tǒng)計和費用計算，運用MapReduce方法對用戶作業(yè)進行分析;
　　5) Hadoop組件安裝部署模塊:根據(jù)用戶的個性化需求，通過執(zhí)行一系列Linux命令完成Hadoop環(huán)境的部署和組件的啟動與停止;
　　6)Hadoop組件參數(shù)配置模塊:從Web界面獲取用戶的參數(shù)配置信息，更改XML文件相應(yīng)參數(shù)配置項;
　　7)用戶信息管理模塊:管理用戶的基本信息，角色信息和費用信息。
　　(3)在系統(tǒng)測試