基于云計(jì)算平臺(tái)Hadoop的聚類神經(jīng)網(wǎng)絡(luò)算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，推動(dòng)了互聯(lián)網(wǎng)的廣泛應(yīng)用和普及，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大,行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長，促進(jìn)了云計(jì)算技術(shù)的誕生和發(fā)展，Apache Hadoop等開源云平臺(tái)伴隨著大數(shù)據(jù)時(shí)代的到來而出現(xiàn)，數(shù)據(jù)分析已經(jīng)成為企業(yè)決策的重要支撐，如何快速有效地從海量數(shù)據(jù)中挖掘出有用的信息將顯得十分得迫切和重要了。其中聚類分析和神經(jīng)網(wǎng)絡(luò)算法是數(shù)據(jù)挖掘的核心技術(shù)，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)由于受到計(jì)算機(jī)自身性能以及編程模型的約束，無論從效率上

2、，還是從計(jì)算復(fù)雜度上都已無法滿足海量信息的處理需要，云計(jì)算技術(shù)的發(fā)展為聚類分析、神經(jīng)網(wǎng)絡(luò)算法提供了新的研究方向[1]，形成云挖掘。
　　本文首先主要研究在Linux操作系統(tǒng)下部署Hadoop集群，創(chuàng)新點(diǎn)是將聚類算法 MapReduce并行化。由于聚類算法比較繁多，本文從 k均值聚類算法入手，按照 MapReduce編程模型將上述算法進(jìn)行了并行化。并行化后的算法應(yīng)用在 Hadoop云計(jì)算平臺(tái)，通過對UCI數(shù)據(jù)庫的Wine數(shù)據(jù)集進(jìn)行文

3、本聚類處理，實(shí)驗(yàn)表明 MapReduce并行化后的K-means聚類算法大大提高了運(yùn)行速度。
　　然后主要研究在Hadoop YARN上部署Spark集群，創(chuàng)新點(diǎn)是將神經(jīng)網(wǎng)絡(luò)算法在Spark平臺(tái)上并行化過程進(jìn)行設(shè)計(jì)及實(shí)現(xiàn)，本文從BP神經(jīng)網(wǎng)絡(luò)入手，通過任務(wù)調(diào)度實(shí)現(xiàn)任務(wù)并行化，通過DAGScheduler，TaskScheduler等進(jìn)行作業(yè)調(diào)度，按照 DAG劃分為不同的Stage，每個(gè) Stage劃分為并發(fā)執(zhí)行的一組 Task（Sh