基于Spark的大數(shù)據(jù)挖掘技術的研究與實現(xiàn).pdf

1、大數(shù)據(jù)和大數(shù)據(jù)分析是目前IT領域里最炙手可熱的概念，大數(shù)據(jù)具有3V的特點:(1)Volume:數(shù)據(jù)規(guī)模大;(2)Velocity:處理要求快，實時性要求比較高;(3)Variety:數(shù)據(jù)有豐富的多樣性。為了讓數(shù)據(jù)產(chǎn)生更大的價值，就需要選擇一個高效的大數(shù)據(jù)處理平臺來對其進行相應的分析。Spark是適用于大數(shù)據(jù)的高可靠性、高性能分布式并行計算框架。目前在國內外，已經(jīng)有很多公司在實際生產(chǎn)環(huán)境中廣泛使用Spark，比如國外的谷歌、亞馬遜，易貝、

2、雅虎等公司和國內的淘寶，百度，華為，優(yōu)酷土豆等公司。
　　盡管Spark在實際的工業(yè)生產(chǎn)和實踐中已經(jīng)有了廣泛的使用，但是受限于其誕生時間較晚、版本較新等因素?，F(xiàn)階段，使用Spark框架在有些具體大數(shù)據(jù)應用場景下進行挖掘和分析時，需要結合其原有模塊并改寫和添加一些功能，才能更好的發(fā)揮其作用。而在解決個別大數(shù)據(jù)挖掘問題時，Spark框架目前還沒有相應的功能。比如分布式機器學習庫MLlib里沒有解決關聯(lián)規(guī)則問題的分布式機器學習算法。

3、r>　　本文的主要工作為:(1)構建本文的實驗測試環(huán)境，將Spark集群部署在Yarn上，即搭建一個由單個Master節(jié)點和多個Worker節(jié)點構成的Spark集群，集群使用的操作系統(tǒng)為Linux。在集群上對本文中的實驗數(shù)據(jù)，算法和系統(tǒng)進行驗證和測試。為更方便的進行Spark應用程序的開發(fā)和測試，搭建單機Scala編碼環(huán)境IDEA，在單機模式下進行應用程序的編碼和初步調試，并生成能夠在集群上運行的jar包。(2)為了在大數(shù)據(jù)生產(chǎn)場景下實

4、現(xiàn)分布式協(xié)同過濾推薦，本文使用Scala、Python、Java語言和Spark RDD并調用MLlib中的相關模塊，實現(xiàn)分布式協(xié)同過濾推薦，并進行電影推薦。本文實現(xiàn)的分布式并行協(xié)同過濾推薦，是基于模型的推薦系統(tǒng)，獲取最佳參數(shù)下的模型，用其進行預測測試集的評分和給用戶進行推薦。在測試和驗證實驗結果時，選用經(jīng)典的大電影數(shù)據(jù)集:MovieLens。(3)為了在大規(guī)模數(shù)據(jù)處理場景下實現(xiàn)關聯(lián)分析，本文主要借助Scala語言和Spark RDD的

5、分布式算子對經(jīng)典的Apriori算法進行分布式并行編碼處理，并在分布式集群上部署和運行，使用chess大數(shù)據(jù)集在Spark集群上進行測試和驗證，和Java語言編寫的單機Apriori算法進行運行效率和結果的比較。
　　本文所做的貢獻為:(1)實現(xiàn)了將Spark集群部署在Yarn上，支持對集群規(guī)模進行擴充和調優(yōu)。(2)提供了協(xié)同過濾推薦在分布式集群上并行運行的實現(xiàn)方案。(3)對Spark MLlib分布式機器學習庫中沒給出的關聯(lián)分析