基于大數(shù)據(jù)平臺的數(shù)據(jù)挖掘算法研究與實現(xiàn).pdf

1、隨著信息時代的高速發(fā)展，互聯(lián)網(wǎng)平臺上每天都會產(chǎn)生海量數(shù)據(jù)，如何從這些海量的數(shù)據(jù)中提取出有價值的信息具有重大的意義。Hadoop技術(shù)提出的HDFS和MapReduce技術(shù)解決了海量數(shù)據(jù)的分布式存儲和計算問題；Spark技術(shù)提出RDD數(shù)據(jù)模型和基于內(nèi)存的計算模式擅長于快速數(shù)據(jù)處理，特別是在需要反復(fù)迭代的數(shù)據(jù)挖掘工作中更為出色。本論文正是基于大數(shù)據(jù)和云計算的應(yīng)用背景，對 Hadoop計算平臺調(diào)度算法和 Spark數(shù)據(jù)挖掘算法進(jìn)行研究。

2、　　論文首先介紹了Spark技術(shù)的背景知識，簡要討論了Spark技術(shù)的系統(tǒng)架構(gòu)、RDD的編程思想、k-means聚類算法和相關(guān)推薦算法等。同時，論文還分析介紹了Hadoop計算平臺的作業(yè)調(diào)度算法。
　　針對現(xiàn)有hadoop平臺作業(yè)調(diào)度算法無法很好滿足多任務(wù)調(diào)度的問題，論文提出了基于權(quán)值的hadoop計算能力調(diào)度算法，該算法通過動態(tài)計算各個任務(wù)的權(quán)值，同時均衡考量不同任務(wù)的優(yōu)先級、計算資源需求、數(shù)據(jù)資源位置等信息調(diào)整任務(wù)調(diào)度順序，實

3、現(xiàn)多作業(yè)快速執(zhí)行以及計算節(jié)點負(fù)載均衡。實驗結(jié)果表明本算法在多任務(wù)調(diào)度的情況下可以更加快速處理海量數(shù)據(jù)。
　　針對現(xiàn)有數(shù)據(jù)挖掘算法的優(yōu)化，論文還提出了基于Spark平臺的k-means聚類算法、推薦算法優(yōu)化以及在該平臺上并行化實現(xiàn)。對于k-means聚類算法，提出了非均勻選擇初始值的策略，通過設(shè)計數(shù)據(jù)點采樣概率函數(shù)，使得區(qū)分度大的數(shù)據(jù)點被選中作為初始聚類中心；對于協(xié)同過濾推薦算法，提出了采用基于用戶評分偏好聚類對協(xié)同過濾推薦進(jìn)行系統(tǒng)