Hadoop平臺下數(shù)據(jù)挖掘的研究與實現(xiàn).pdf

1、數(shù)據(jù)挖掘是針對大量的數(shù)據(jù)進行數(shù)理分析，以得出有價值信息的過程。隨著進入信息時代，移動網(wǎng)絡設備的驟增，產(chǎn)生了大量的數(shù)據(jù)信息，如何從海量的數(shù)據(jù)中挖掘出有價值的知識，是數(shù)據(jù)挖掘技術(shù)所面臨的主要問題之一。傳統(tǒng)的數(shù)據(jù)挖掘，很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求，而云計算技術(shù)的特點解決了大數(shù)據(jù)挖掘的瓶頸。Hadoop是Apache對Google云計算平臺的開源實現(xiàn)，主要包括典型的分布式文件系統(tǒng)（HDFS）和 MapReduce計算模型。Hadoop云計

2、算技術(shù)的應用，實現(xiàn)了海量數(shù)據(jù)的分布式存儲和任務的分布式處理，并且具有很高的性能和可靠性。
　　本文對Hadoop平臺的HDFS和MapReduce框架做了深入研究，搭建了一個小型的Hadoop平臺集群，實現(xiàn)了在HDFS中大數(shù)據(jù)的分布式存取和基于MapReduce的分布式程序開發(fā)，針對Hadoop系統(tǒng)磁盤和網(wǎng)絡I/O進行優(yōu)化，能夠明顯提高數(shù)據(jù)分析的性能，提出了磁盤I/O優(yōu)化和數(shù)據(jù)局部性優(yōu)化的方法，提高了Map過程和Reduce過程之

3、間數(shù)據(jù)傳輸?shù)男?。在此基礎上，構(gòu)建了基于優(yōu)化后的Hadoop平臺的數(shù)據(jù)挖掘系統(tǒng)，系統(tǒng)主要分為分布式計算層、數(shù)據(jù)挖掘平臺層、業(yè)務應用層三層，主要模塊包括 HDFS文件系統(tǒng)存儲模塊、MapReduce開發(fā)環(huán)境模塊、數(shù)據(jù)挖掘算法模塊，詳細介紹了兩種MapReduce開發(fā)環(huán)境的部署，一種是異步模式開發(fā)，一種是同步模式開發(fā)。
　　在理論創(chuàng)新方面，本課題具體地研究了數(shù)據(jù)關聯(lián)挖掘算法Apriori在Hadoop平臺上的移植，詳細介紹了基于 Ma

4、pRed uce的并行關聯(lián)挖掘算法設計的流程，以及MapReduce開發(fā)環(huán)境的編程方法，主要針對傳統(tǒng)Apriori算法面對海量數(shù)據(jù)挖掘時計算力的不足，分析了Aprioir算法的利弊，以及并行化過程中的問題，提出了一種基于 MapReduce的并行化關聯(lián)挖掘算法。通過改進傳統(tǒng)發(fā)現(xiàn)頻繁項集的方法，基于MapReduce產(chǎn)生所有k-項集組合，分布式的生成頻繁項集的統(tǒng)計，組合k-項集，一次發(fā)現(xiàn)數(shù)據(jù)項頻度，大大減小了算法的時間復雜度，摒棄了剪枝優(yōu)

5、化不斷遍歷數(shù)據(jù)空間的過程，從而保證了關聯(lián)挖掘數(shù)據(jù)的完整性，極大的提高了大數(shù)據(jù)挖掘的效率。
　　實驗從最小支持度與頻繁項集結(jié)果的關系，最小支持度對時間復雜度的影響，以及大數(shù)據(jù)挖掘的性能，比較了本文算法和傳統(tǒng)的Apriori算法的效果。得出了以下結(jié)論：
　　第一、不同算法的最小支持度選取與頻繁項集結(jié)果無關；
　　第二、最小支持度的選取對傳統(tǒng)Apriori算法有明顯影響，而對本文算法影響不大；
　　第三、在大數(shù)據(jù)挖掘性