基于Hadoop的Apriori算法改進(jìn)與移植的研究.pdf

1、目的：
　　隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展,Web2.0的成熟與廣泛應(yīng)用,數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng),傳統(tǒng)的數(shù)據(jù)挖掘算法在處理海量數(shù)據(jù)時(shí)效率低下,云計(jì)算的出現(xiàn)為其改進(jìn)帶來(lái)了新的方式。云計(jì)算通過(guò)集群威力,實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的可靠存儲(chǔ)和高速計(jì)算。Hadoop作為一款比較成熟的開(kāi)源云計(jì)算框架,以其高效、可擴(kuò)展、低成本等優(yōu)點(diǎn)在數(shù)據(jù)挖掘的相關(guān)領(lǐng)域得到了廣泛應(yīng)用?；诖?本文將Hadoop與典型的數(shù)據(jù)挖掘系統(tǒng)進(jìn)行整合,并選擇了新的數(shù)據(jù)挖掘系統(tǒng)的算法模

2、塊部分中應(yīng)用較為廣泛的Apriori算法進(jìn)行改進(jìn),以提高其在處理海量數(shù)據(jù)時(shí)的效率。
　　方法：
　　本文采用的研究方法包括:文獻(xiàn)研究法,結(jié)構(gòu)化方法,實(shí)例分析法和對(duì)比分析法。文獻(xiàn)研究法可以了解相關(guān)研究的現(xiàn)狀,還為本文的研究提供理論參考;結(jié)構(gòu)化方法是系統(tǒng)分析常用的方法,對(duì)基于Hadoop的云數(shù)據(jù)挖掘系統(tǒng)架構(gòu)的分析具有指導(dǎo)意義;通過(guò)實(shí)例分析法闡述了傳統(tǒng)Apriori算法的執(zhí)行流程并論證了改進(jìn)算法的可行性;通過(guò)對(duì)比分析法,分析了改進(jìn)

3、算法的優(yōu)勢(shì)。
　　結(jié)果：
　　(1)結(jié)合典型的數(shù)據(jù)挖掘系統(tǒng)架構(gòu),將其與Hadoop進(jìn)行整合,提出了基于Hadoop的數(shù)據(jù)挖掘系統(tǒng)架構(gòu),并對(duì)各個(gè)功能模塊進(jìn)行了簡(jiǎn)要闡述。
　　(2)在對(duì)Apriori算法進(jìn)行了詳細(xì)闡述的基礎(chǔ)上,針對(duì)其在處理海量數(shù)據(jù)時(shí)存在的瓶頸,利用MapReduce編程模式,本文提出了基于數(shù)據(jù)庫(kù)劃分的并行化改進(jìn)的思想。通過(guò)對(duì)改進(jìn)算法的詳細(xì)闡述和設(shè)計(jì),結(jié)合實(shí)例論證了改進(jìn)算法的可行性,并對(duì)改進(jìn)算法進(jìn)行了分析。