基于云計算的聚類算法的MapReduce化研究.pdf

1、聚類算法的研究有著很長的歷史，幾十年來，其重要性及與其他研究方向的交叉性得到人們的肯定。聚類算法作為一種非監(jiān)督學習的方法，是包括模式識別、數(shù)據(jù)挖掘、圖像分析、機器學習等諸多領域數(shù)據(jù)統(tǒng)計分析的一種常用技術。隨著互聯(lián)網(wǎng)上數(shù)據(jù)的快速增長，在單機上對大規(guī)模數(shù)據(jù)進行聚類時會遇到內(nèi)存容量和內(nèi)核處理速度的瓶頸問題，難以滿足實際應用的需求。
　　云計算是一種利用互聯(lián)網(wǎng)實現(xiàn)隨時隨地、按需、便捷地訪問共享資源池的計算模式。云計算是網(wǎng)格計算、并行計算和

2、分布式計算的發(fā)展，具有處理大規(guī)模數(shù)據(jù)的能力。
　　本文旨在利用云計算平臺的大規(guī)模數(shù)據(jù)處理能力，解決聚類算法所面臨的大規(guī)模數(shù)據(jù)問題。本文分析了云計算的體系架構，研究了MapReduce編程模型和HDFS分布式文件系統(tǒng)，介紹了聚類算法的相關技術。將ISODATA算法與MapReduce編程模型相結(jié)合，實現(xiàn)了基于MapReduce的ISODATA算法。針對ISODATA算法的不足，提出了一種改進的算法WISODATA，并實現(xiàn)了基于Map

3、Reduce的WISODATA算法。從UCI機器學習庫上選取知名數(shù)據(jù)集，分析和比較了ISODATA算法、基于MapReduce的ISODATA算法、WISODATA算法和基于MapReduce的WISODATA算法的聚類結(jié)果，實驗結(jié)果表明四種算法聚類結(jié)果具有較高的準確率，WISODATA與基于MapReduce的WISODATA算法均優(yōu)于ISODATA與基于MapReduce的ISODATA算法。通過在不同大小數(shù)據(jù)集上的實驗分析了基于M