基于Hadoop的關(guān)聯(lián)規(guī)則算法的研究與改進.pdf

1、隨著社會的不斷發(fā)展，互聯(lián)網(wǎng)的應(yīng)用已得到普及并在我們?nèi)粘Ｉ钪屑肮ぷ髦邪缪葜匾巧悄芙K端設(shè)備逐漸普及并時時刻刻產(chǎn)生大量的網(wǎng)絡(luò)社交數(shù)據(jù)，在這些大規(guī)模的社交數(shù)據(jù)中隱藏著諸多有價值的數(shù)據(jù)關(guān)聯(lián)，而如何管理并挖掘利用這些數(shù)據(jù)的價值成為大家越來越關(guān)注的問題。計算機領(lǐng)域的開發(fā)者經(jīng)過不斷探索和研究發(fā)現(xiàn)，對龐大的數(shù)據(jù)進行深入挖掘會發(fā)現(xiàn)其中有規(guī)律的數(shù)據(jù)，從而將這些有規(guī)律的數(shù)據(jù)提取出來經(jīng)過整理編輯，最終整合為適用于人們不同需求的決策方案。隨著數(shù)據(jù)量的指數(shù)

2、級增加，對于大數(shù)據(jù)的挖掘計算量逐漸超出本地計算機的負(fù)荷，而日漸活躍的云計算的分布式平臺可以為其提供超強的處理能力。如果在大數(shù)據(jù)處理的過程中將數(shù)據(jù)挖掘方法和云計算平臺相結(jié)合實現(xiàn)挖掘計算的并行化操作，會有效提高關(guān)聯(lián)規(guī)則計算的效率，同時也可在大數(shù)據(jù)的處理中得到更加核心的數(shù)據(jù)規(guī)律。
　　本文在對數(shù)據(jù)挖掘各個環(huán)節(jié)進行詳細(xì)描述的同時分析了關(guān)聯(lián)規(guī)則算法，為了將關(guān)聯(lián)規(guī)則算法應(yīng)用到分布式平臺系統(tǒng)中，我們將關(guān)聯(lián)規(guī)則算法的結(jié)構(gòu)進行一定程度的優(yōu)化調(diào)整，使

3、其適應(yīng)分布式平臺的需要，并能夠在分布式平臺系統(tǒng)中完成數(shù)據(jù)挖掘的所有任務(wù)。在設(shè)計過程中將關(guān)聯(lián)規(guī)則算法底層的數(shù)據(jù)項進行細(xì)化，使其能夠在分布式環(huán)境中進行并行計算，由多臺集群中的機器分別同時進行頻繁度的計算。在Hadoop平臺中要對事物集D中的所有事物進行排序首先事物集會在每個任務(wù)執(zhí)行節(jié)點上進行備份然后由master節(jié)點進行排序任務(wù)的分配，各個worker分別對各自負(fù)責(zé)的一部分事物集進行排序，在集群框架中設(shè)計關(guān)聯(lián)規(guī)則算法的Map和Reduce操

4、作連接性。
　　該平臺對各個項目集中的數(shù)據(jù)關(guān)聯(lián)性進行挖掘，需要把子項目集中的最大項目數(shù)挖掘出來。在每個worker節(jié)點將所有的事務(wù)排序完畢并整合之后，會得到相應(yīng)的子項集，算法要求子項集的數(shù)目會小于或等于設(shè)置的最大項目集合的數(shù)量。對于全部新生成的子項集的支持度，算法會自動對其進行計算。在Hadoop平臺中由每個worker節(jié)點對項集的支持度進行計算并整理事務(wù)集D中的相關(guān)事務(wù)，之后進行Reduce階段合并事務(wù)中相同的子項集，然后把系統(tǒng)