基于Hadoop平臺的并行數(shù)據(jù)挖掘算法研究.pdf

1、由于科學(xué)研究、通信技術(shù)以及IT技術(shù)等的迅猛飛速發(fā)展，龐大的數(shù)據(jù)集合由GB往TB發(fā)展，甚至將來的ZB。云計算憑借其超強(qiáng)的計算能力和可靠的計算能力為數(shù)據(jù)挖掘技術(shù)的改進(jìn)帶來了一絲生機(jī)。
　　本文采用Hadoop分布式云計算平臺，基于該平臺的兩大核心技術(shù)MapReduce和HDFS，實現(xiàn)數(shù)據(jù)挖掘算法中分類聚類算法的并行化，通過實踐論證了基于該平臺的分類聚類算法具有良好的加速比、擴(kuò)展性及分布式運(yùn)算效果。主要內(nèi)容如下:
　　1.引入開源

2、分布式計算平臺Hadoop，包含它的兩大核心技術(shù)MapReduce和HDFS。詳細(xì)介紹了MapReduce和HDFS的運(yùn)行機(jī)制及實現(xiàn)原理。給出數(shù)據(jù)挖掘技術(shù)的概念，介紹數(shù)據(jù)挖掘算法中的分類聚類算法;并根據(jù)現(xiàn)有的知識結(jié)合數(shù)據(jù)挖掘技術(shù)的特點(diǎn)分析數(shù)據(jù)挖掘的發(fā)展趨勢。
　　2.基于前面的Hadoop理論知識，完成了本文所需的高可靠Hadoop平臺的搭建。針對1.0.0之前的Hadoop版本缺乏安全性認(rèn)證，引入Kerberos的安全策略;針對

3、HDFS的NameNode、MapReduce的JobTracker的單節(jié)點(diǎn)故障問題，使用了DRBD鏡像塊設(shè)備存儲技術(shù)。最終搭建成功高可靠安全的Hadoop環(huán)境。
　　3.著重介紹基于Hadoop平臺實現(xiàn)K-Means聚類算法的主要思想和實現(xiàn)的代碼;并且通過幾組實驗，實踐說明基于云計算平臺的K-Means聚類算法具有良好的擴(kuò)展性能和較好的擴(kuò)展性能。
　　4.詳細(xì)介紹了基于Hadoop平臺的樸素貝葉斯分類算法的主要思想及實現(xiàn)代