基于Spark的海量數(shù)據(jù)計(jì)算平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)處理技術(shù)主要包括數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算技術(shù)，其主要目標(biāo)是實(shí)現(xiàn)各種數(shù)據(jù)集的挖掘分析工作。近幾年，UC Berkdey AMP Lab開發(fā)的新一代數(shù)據(jù)處理框架Spark逐漸走進(jìn)人們視野，它完善了早期流行的Hadoop框架，提出了彈性分布式數(shù)據(jù)集RDD（Resilient Distributed Datasets）和更靈活多樣的編程模式，給數(shù)據(jù)的處理工作提供了一條更簡(jiǎn)單、更快捷的途徑。
　　隨著大數(shù)據(jù)時(shí)代的到來，很多公司企業(yè)都會(huì)經(jīng)常碰到

2、海量數(shù)據(jù)處理分析的問題?，F(xiàn)存的一些海量數(shù)據(jù)處理工具大多收費(fèi)，并且存在操作復(fù)雜、算法不可定制、處理結(jié)果不直觀等問題。本文所述的海量數(shù)據(jù)計(jì)算平臺(tái)后臺(tái)基于Spark集群，可以高效實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和計(jì)算工作。在此基礎(chǔ)上，提供算法自定義功能，用戶通過提交算法包，并簡(jiǎn)單配置即可使自定義算法運(yùn)行在該平臺(tái)上。前臺(tái)基于Webx框架，以網(wǎng)站形式對(duì)外提供服務(wù)，降低用戶學(xué)習(xí)傳統(tǒng)命令行操作的成本，實(shí)現(xiàn)Spark操作完全圖形化。平臺(tái)還對(duì)數(shù)據(jù)處理結(jié)果進(jìn)行多樣可視化

3、展示，為后期深入研究提供了便利。
　　本文首先對(duì)Spark和Web開發(fā)技術(shù)的現(xiàn)狀進(jìn)行介紹和分析，詳細(xì)闡述當(dāng)前海量數(shù)據(jù)處理面臨的問題，并整理出海量數(shù)據(jù)計(jì)算平臺(tái)的功能、性能等需求。在此基礎(chǔ)上，針對(duì)該平臺(tái)使用的Webx開源框架進(jìn)行具體介紹，并利用框架提供的各種服務(wù)設(shè)計(jì)實(shí)現(xiàn)前端網(wǎng)站的整體功能。然后分析并行編程模型，利用開源算法庫MLlib實(shí)現(xiàn)經(jīng)典機(jī)器學(xué)習(xí)算法。接著分析平臺(tái)的數(shù)據(jù)存儲(chǔ)機(jī)制，使用Mysql存儲(chǔ)用戶和算法信息，結(jié)合HDFS存儲(chǔ)輸