基于Spark的機(jī)器學(xué)習(xí)平臺設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云計(jì)算與分布式集群技術(shù)的發(fā)展，大數(shù)據(jù)概念在容量、價值等方面都有了更廣的擴(kuò)展和延伸，機(jī)器學(xué)習(xí)技術(shù)近年來也得到了前所未有的重視。本文主要針對傳統(tǒng)數(shù)據(jù)挖掘算法無法處理海量數(shù)據(jù)，近年來比較流行的MapReduce對機(jī)器學(xué)習(xí)算法不能有效并行化運(yùn)行等問題，提出基于Spark來構(gòu)建一個用于大規(guī)模機(jī)器學(xué)習(xí)的平臺，該平臺不僅能夠兼容Hadoop集群利用現(xiàn)有計(jì)算資源靈活高效地處理海量數(shù)據(jù)，而且還具有良好的可擴(kuò)展性，能夠滿足各類機(jī)器學(xué)習(xí)任務(wù)場景的需求。<

2、br>　　本文完成了如下幾個方面的工作:
　　論文主要針對機(jī)器學(xué)習(xí)任務(wù)中的常見場景，基于Spark平臺設(shè)計(jì)和實(shí)現(xiàn)了其中經(jīng)典的算法，包括并行化的線性回歸、支持向量機(jī)、KMeans聚類算法，基于圖計(jì)算模型抽象的矩陣分解、PageRank算法，以及數(shù)據(jù)流KMeans聚類算法。算法工作均以大規(guī)模機(jī)器學(xué)習(xí)的相關(guān)基礎(chǔ)理論為有效支持，充分體現(xiàn)平臺的運(yùn)行效率和可擴(kuò)展性;
　　在算法設(shè)計(jì)過程中，本文針對大數(shù)據(jù)場景對經(jīng)典算法進(jìn)行一些改進(jìn)優(yōu)化工作

3、。例如，基于集成學(xué)習(xí)理論方法，采用Bagging策略來提高模型的穩(wěn)定性;為了提升計(jì)算效率，引入了基于采樣的子梯度模型優(yōu)化方法;為適應(yīng)海量數(shù)據(jù)下評分?jǐn)?shù)據(jù)矩陣特別稀疏的問題，提出基于圖計(jì)算模型的矩陣分解算法。另外，在實(shí)現(xiàn)經(jīng)典機(jī)器學(xué)習(xí)算法時，采用面向?qū)ο蟮脑O(shè)計(jì)思路，利用工廠和策略等設(shè)計(jì)模式來層次封裝，方便平臺擴(kuò)展更多的功能和算法。
　　平臺遵循Lambda架構(gòu)設(shè)計(jì)，分成三個層次，分別是:批量數(shù)據(jù)層、服務(wù)層以及數(shù)據(jù)流層。批量數(shù)據(jù)層主要采用