基于Hadoop的Apriori算法改進與移植的研究.pdf

1、目的：
　　隨著計算機技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展,Web2.0的成熟與廣泛應(yīng)用,數(shù)據(jù)呈現(xiàn)爆炸式增長,傳統(tǒng)的數(shù)據(jù)挖掘算法在處理海量數(shù)據(jù)時效率低下,云計算的出現(xiàn)為其改進帶來了新的方式。云計算通過集群威力,實現(xiàn)了對海量數(shù)據(jù)的可靠存儲和高速計算。Hadoop作為一款比較成熟的開源云計算框架,以其高效、可擴展、低成本等優(yōu)點在數(shù)據(jù)挖掘的相關(guān)領(lǐng)域得到了廣泛應(yīng)用?；诖?本文將Hadoop與典型的數(shù)據(jù)挖掘系統(tǒng)進行整合,并選擇了新的數(shù)據(jù)挖掘系統(tǒng)的算法模

2、塊部分中應(yīng)用較為廣泛的Apriori算法進行改進,以提高其在處理海量數(shù)據(jù)時的效率。
　　方法：
　　本文采用的研究方法包括:文獻研究法,結(jié)構(gòu)化方法,實例分析法和對比分析法。文獻研究法可以了解相關(guān)研究的現(xiàn)狀,還為本文的研究提供理論參考;結(jié)構(gòu)化方法是系統(tǒng)分析常用的方法,對基于Hadoop的云數(shù)據(jù)挖掘系統(tǒng)架構(gòu)的分析具有指導(dǎo)意義;通過實例分析法闡述了傳統(tǒng)Apriori算法的執(zhí)行流程并論證了改進算法的可行性;通過對比分析法,分析了改進

3、算法的優(yōu)勢。
　　結(jié)果：
　　(1)結(jié)合典型的數(shù)據(jù)挖掘系統(tǒng)架構(gòu),將其與Hadoop進行整合,提出了基于Hadoop的數(shù)據(jù)挖掘系統(tǒng)架構(gòu),并對各個功能模塊進行了簡要闡述。
　　(2)在對Apriori算法進行了詳細闡述的基礎(chǔ)上,針對其在處理海量數(shù)據(jù)時存在的瓶頸,利用MapReduce編程模式,本文提出了基于數(shù)據(jù)庫劃分的并行化改進的思想。通過對改進算法的詳細闡述和設(shè)計,結(jié)合實例論證了改進算法的可行性,并對改進算法進行了分析。