基于Web的Hadoop集聚監(jiān)管與計(jì)費(fèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本人實(shí)習(xí)期間所在的公司和部門是曙光信息產(chǎn)業(yè)股份有限公司（北京）大數(shù)據(jù)研發(fā)部，參與了基于Web的Hadoop集群監(jiān)管與計(jì)費(fèi)系統(tǒng)的開發(fā)工作。該系統(tǒng)能夠統(tǒng)一、科學(xué)地監(jiān)測(cè)和管理Hadoop集群，簡(jiǎn)化技術(shù)人員的部署和維護(hù)工作，實(shí)現(xiàn)Hadoop環(huán)境安裝配置的可視化，并且提供了計(jì)費(fèi)功能，便于企業(yè)對(duì)外提供計(jì)算服務(wù)。
　　本人的工作可概括如下:
　　(1)在系統(tǒng)需求分析階段，參與了對(duì)系統(tǒng)需求的討論分析，充分了解系統(tǒng)的功能性需求和非功能性需求。

2、
　　(2)在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)階段，完成了如下七個(gè)功能模塊的設(shè)計(jì)和實(shí)現(xiàn)工作:
　　1)Hadoop組件信息采集模塊:針對(duì)不同的組件角色，通過不同的方式，周期性地采集Hadoop各個(gè)組件信息，支持Hadoop組件信息報(bào)警。
　　2)集群狀態(tài)信息采集模塊:周期性采集集群各節(jié)點(diǎn)的硬件資源信息，并支持集群狀態(tài)信息報(bào)警。
　　3)作業(yè)信息采集模塊:周期性地采集作業(yè)日志文件進(jìn)行解析，并獲取作業(yè)信息;
　　4)作業(yè)統(tǒng)計(jì)分析

3、模塊:對(duì)作業(yè)信息進(jìn)行統(tǒng)計(jì)和費(fèi)用計(jì)算，運(yùn)用MapReduce方法對(duì)用戶作業(yè)進(jìn)行分析;
　　5) Hadoop組件安裝部署模塊:根據(jù)用戶的個(gè)性化需求，通過執(zhí)行一系列Linux命令完成Hadoop環(huán)境的部署和組件的啟動(dòng)與停止;
　　6)Hadoop組件參數(shù)配置模塊:從Web界面獲取用戶的參數(shù)配置信息，更改XML文件相應(yīng)參數(shù)配置項(xiàng);
　　7)用戶信息管理模塊:管理用戶的基本信息，角色信息和費(fèi)用信息。
　　(3)在系統(tǒng)測(cè)試