基于Hadoop對Apriori算法的改進(jìn)與研究.pdf

1、隨著計算機(jī)互聯(lián)網(wǎng)的快速發(fā)展，現(xiàn)代社會的信息量增長速度極快，這些信息里又積累著大量的數(shù)據(jù)，包括個人數(shù)據(jù)和工業(yè)數(shù)據(jù)，這些數(shù)據(jù)具有動態(tài)型、異構(gòu)型、多樣型等特點。預(yù)計到2025年，每年產(chǎn)生的數(shù)據(jù)信息將會超過1/3的內(nèi)容駐留在云平臺中，或借助云平臺處理。為了從這些海量數(shù)據(jù)中挖掘出有價值的信息，需要對這些數(shù)據(jù)進(jìn)行分析和處理。如何高效存儲和分析這些數(shù)據(jù)呢？此時，云計算以其獨特的姿態(tài)登上了這一舞臺。Hadoop系統(tǒng)，一個相對成熟的開源云計算框架，它在處

2、理這些問題時，采用了分布式文件系統(tǒng)存儲這些數(shù)據(jù)，提高了讀寫速度，并擴(kuò)大了存儲容量。采用了MapReduce來整合分布式文件系統(tǒng)上的數(shù)據(jù)，保證分析和處理數(shù)據(jù)的高效性。Hadoop系統(tǒng)還采用存儲冗余機(jī)制來保證數(shù)據(jù)的安全性。在這樣的背景下，論文將傳統(tǒng)數(shù)據(jù)挖掘系統(tǒng)與Hadoop框架相結(jié)合，且對挖掘系統(tǒng)中廣泛使用的關(guān)聯(lián)規(guī)則模型Apriori算法進(jìn)行改進(jìn)。
　　首先，論文詳細(xì)闡述了云計算、Hadoop的分布式文件系統(tǒng)（HDFS）以及MapRe

3、duce并行計算框架，設(shè)計基于Hadoop數(shù)據(jù)挖掘系統(tǒng)架構(gòu)，并闡述其涉及主要模塊職責(zé)。接著，本文對關(guān)聯(lián)規(guī)則模型Apriori算法進(jìn)行了分析與研究，通過將數(shù)據(jù)庫劃分的思想對經(jīng)典Apriori算法進(jìn)行改進(jìn)，并且運用云計算和云平臺Hadoop的相關(guān)知識，提出基于MapReduce化的改進(jìn)挖掘算法。論文對改進(jìn)的算法進(jìn)行了MapReduce化的具體設(shè)計，完成對具體實例的分析。最后，本文通過搭建Hadoop集群進(jìn)行仿真實驗。結(jié)果表明MapReduc