基于MapReduce的可視化數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn).pdf

1、在互聯(lián)網(wǎng)飛速發(fā)展的進程中，越來越多的企業(yè)使用大數(shù)據(jù)對數(shù)據(jù)進行分析和評估。數(shù)據(jù)分析師需要使用MapReduce等計算框架對數(shù)據(jù)進行統(tǒng)計匯總后對其進行分析，然而大多數(shù)的數(shù)據(jù)分析師都知道如今最流行的Hadoop計算框架卻并不能熟練地使用Hadoop的工作命令對計算任務(wù)進行操作。對于MapReduce的使用往往需要非常專業(yè)的云計算工程師完成，而Hadoop的學(xué)習(xí)過程又極其復(fù)雜，學(xué)習(xí)周期較長，這使得數(shù)據(jù)分析師使用MapReduce的難度很大。另一

2、方面，人工進行MapReduce操作，由于各種主觀因素經(jīng)常導(dǎo)致任務(wù)失敗或錯誤。雖然針對MapRed uce設(shè)計的工作流引擎產(chǎn)品存在，但是該類產(chǎn)品都是使用指令行進行操作，均缺少工程項目所需的可視化操作環(huán)境，部署和操作均十分復(fù)雜。針對上述問題，本文設(shè)計了可視化的平臺并結(jié)合可視化轉(zhuǎn)化XML算法，本文主要工作包括三個方面：
　　1.提供可視化的操作界面，通過定義工作流程圖形的方式，對MapRed uce作業(yè)進行部署。數(shù)據(jù)分析員面對大數(shù)據(jù)信

3、息處理的情況下，通過使用可視化工具對多個MapReduce作業(yè)進行定義和部署，無需關(guān)心后臺程序的實際操作。通過對用戶可視化操作分析，提出了用戶工作空間概念，包含團隊文件共享和用戶流程圖管理的應(yīng)用模塊。任務(wù)提交后，利用Oozie的反饋機制，設(shè)計實現(xiàn)了可視化的流程狀態(tài)查詢模塊，方便可視化管理MapReduce工作流程作業(yè)。
　　2.闡述了工作流引擎和MapRed uce計算框架的基本概念和原理的基礎(chǔ)上，介紹了可視化與XM L文檔轉(zhuǎn)換算

4、法，設(shè)計并闡述了XDWE基本運行流程及相關(guān)技術(shù)。針對工作流程可視化操作，提出工作流程向XML文檔轉(zhuǎn)換算法，同時為管理工作流程圖提出XM L文檔向工作流程反向轉(zhuǎn)換算法。針對Map Red uce工作流程分析，設(shè)計了XDWE模塊對工作流程進行部署。
　　3.分析了可視化數(shù)據(jù)處理平臺的業(yè)務(wù)流程和應(yīng)用需求，分別對該系統(tǒng)的數(shù)據(jù)和過程進行數(shù)據(jù)建模。在此基礎(chǔ)上，建立了系統(tǒng)的總體應(yīng)用框架。設(shè)計了系統(tǒng)多個功能模塊并進行詳細的代碼設(shè)計、數(shù)據(jù)庫設(shè)計、輸

5、入輸出設(shè)計，滿足相應(yīng)的設(shè)計需求，最終實現(xiàn)了可視化數(shù)據(jù)處理平臺。系統(tǒng)己經(jīng)過測試并初步應(yīng)用，運行狀況良好。
　　本文討論了可視化操作和工作流引擎的相關(guān)理論，結(jié)合企業(yè)的實際使用背景，設(shè)計了符合企業(yè)實際需求的可視化處理系統(tǒng)，并利用相關(guān)技術(shù)實現(xiàn)該工程系統(tǒng)。系統(tǒng)的應(yīng)用將會使得數(shù)據(jù)分析人員對數(shù)據(jù)處理進行透明操作。只需要將處理流程以流程圖的形式呈現(xiàn)，即可得到想要的數(shù)據(jù)處理信息。通過平臺測試可知平臺運行效率比單獨使用指令運行MapReduce低，但