基于云平臺下的數(shù)據(jù)挖掘研究.pdf

1、生活在信息大爆炸的時(shí)代，社會網(wǎng)絡(luò)產(chǎn)生數(shù)字圖像、視頻、網(wǎng)絡(luò)博客，網(wǎng)絡(luò)社區(qū)等形形色色的數(shù)據(jù)。但是隨著數(shù)據(jù)的數(shù)據(jù)源種類越來越多樣化，數(shù)據(jù)的爆炸式增長，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已經(jīng)不能滿足我們的要求，需要建立一種新的有效機(jī)制來實(shí)現(xiàn)海量數(shù)據(jù)的分析處理。而云計(jì)算平臺下的數(shù)據(jù)挖掘的出現(xiàn)是由于其能提供大規(guī)模的存儲空間，便于海量數(shù)據(jù)的存儲，同時(shí)具有很高的可擴(kuò)展性，編程人員能夠在它們的服務(wù)之上構(gòu)建無縫可擴(kuò)展的應(yīng)用。因此，如果能夠優(yōu)化傳統(tǒng)的數(shù)據(jù)挖掘算法將其部署到云

2、計(jì)算平臺之上，便可解決海量數(shù)據(jù)處理難的問題。
　　但是，將傳統(tǒng)經(jīng)典算法部署到云計(jì)算平臺架構(gòu)之上，也會遇到很多問題。①處理大數(shù)據(jù)中的算法重復(fù)迭代是不可避免的難題；②數(shù)據(jù)循環(huán)遍歷產(chǎn)生的通信成本負(fù)荷重；③傳統(tǒng)算法分析處理海量數(shù)據(jù)的時(shí)間慢，產(chǎn)生的I/O成本和網(wǎng)絡(luò)成本大。
　　針對傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在云計(jì)算平臺上遇到的問題，本文首先從云計(jì)算平臺和數(shù)據(jù)挖掘的基本原理[35]出發(fā)，分析云計(jì)算中的相關(guān)技術(shù)、討論并行編程模型MapReduce的

3、編程原理、分布式系統(tǒng)HDFS的存儲方式以及基于云計(jì)算的Hadoop平臺的數(shù)據(jù)挖掘架構(gòu)，提出使用云計(jì)算下的數(shù)據(jù)挖掘處理機(jī)制來解決處理大規(guī)模數(shù)據(jù)難的問題，并獲得較高的性能；其次針對大數(shù)據(jù)的數(shù)據(jù)類型多樣化和數(shù)據(jù)量的倍增，提出對基于云計(jì)算平臺下的傳統(tǒng)數(shù)據(jù)挖掘算法K-Means算法進(jìn)行優(yōu)化的方案，消除迭代算法的依賴性和減少計(jì)算成本；最后將優(yōu)化后的K-Means算法移植到Hadoop平臺進(jìn)行試驗(yàn)，通過Hadoop集群下的MapReduce的編程計(jì)算