基于Hadoop的關(guān)聯(lián)規(guī)則算法的研究與改進(jìn).pdf

1、隨著社會(huì)的不斷發(fā)展，互聯(lián)網(wǎng)的應(yīng)用已得到普及并在我們?nèi)粘Ｉ钪屑肮ぷ髦邪缪葜匾巧?，智能終端設(shè)備逐漸普及并時(shí)時(shí)刻刻產(chǎn)生大量的網(wǎng)絡(luò)社交數(shù)據(jù)，在這些大規(guī)模的社交數(shù)據(jù)中隱藏著諸多有價(jià)值的數(shù)據(jù)關(guān)聯(lián)，而如何管理并挖掘利用這些數(shù)據(jù)的價(jià)值成為大家越來越關(guān)注的問題。計(jì)算機(jī)領(lǐng)域的開發(fā)者經(jīng)過不斷探索和研究發(fā)現(xiàn)，對(duì)龐大的數(shù)據(jù)進(jìn)行深入挖掘會(huì)發(fā)現(xiàn)其中有規(guī)律的數(shù)據(jù)，從而將這些有規(guī)律的數(shù)據(jù)提取出來經(jīng)過整理編輯，最終整合為適用于人們不同需求的決策方案。隨著數(shù)據(jù)量的指數(shù)

2、級(jí)增加，對(duì)于大數(shù)據(jù)的挖掘計(jì)算量逐漸超出本地計(jì)算機(jī)的負(fù)荷，而日漸活躍的云計(jì)算的分布式平臺(tái)可以為其提供超強(qiáng)的處理能力。如果在大數(shù)據(jù)處理的過程中將數(shù)據(jù)挖掘方法和云計(jì)算平臺(tái)相結(jié)合實(shí)現(xiàn)挖掘計(jì)算的并行化操作，會(huì)有效提高關(guān)聯(lián)規(guī)則計(jì)算的效率，同時(shí)也可在大數(shù)據(jù)的處理中得到更加核心的數(shù)據(jù)規(guī)律。
　　本文在對(duì)數(shù)據(jù)挖掘各個(gè)環(huán)節(jié)進(jìn)行詳細(xì)描述的同時(shí)分析了關(guān)聯(lián)規(guī)則算法，為了將關(guān)聯(lián)規(guī)則算法應(yīng)用到分布式平臺(tái)系統(tǒng)中，我們將關(guān)聯(lián)規(guī)則算法的結(jié)構(gòu)進(jìn)行一定程度的優(yōu)化調(diào)整，使

3、其適應(yīng)分布式平臺(tái)的需要，并能夠在分布式平臺(tái)系統(tǒng)中完成數(shù)據(jù)挖掘的所有任務(wù)。在設(shè)計(jì)過程中將關(guān)聯(lián)規(guī)則算法底層的數(shù)據(jù)項(xiàng)進(jìn)行細(xì)化，使其能夠在分布式環(huán)境中進(jìn)行并行計(jì)算，由多臺(tái)集群中的機(jī)器分別同時(shí)進(jìn)行頻繁度的計(jì)算。在Hadoop平臺(tái)中要對(duì)事物集D中的所有事物進(jìn)行排序首先事物集會(huì)在每個(gè)任務(wù)執(zhí)行節(jié)點(diǎn)上進(jìn)行備份然后由master節(jié)點(diǎn)進(jìn)行排序任務(wù)的分配，各個(gè)worker分別對(duì)各自負(fù)責(zé)的一部分事物集進(jìn)行排序，在集群框架中設(shè)計(jì)關(guān)聯(lián)規(guī)則算法的Map和Reduce操

4、作連接性。
　　該平臺(tái)對(duì)各個(gè)項(xiàng)目集中的數(shù)據(jù)關(guān)聯(lián)性進(jìn)行挖掘，需要把子項(xiàng)目集中的最大項(xiàng)目數(shù)挖掘出來。在每個(gè)worker節(jié)點(diǎn)將所有的事務(wù)排序完畢并整合之后，會(huì)得到相應(yīng)的子項(xiàng)集，算法要求子項(xiàng)集的數(shù)目會(huì)小于或等于設(shè)置的最大項(xiàng)目集合的數(shù)量。對(duì)于全部新生成的子項(xiàng)集的支持度，算法會(huì)自動(dòng)對(duì)其進(jìn)行計(jì)算。在Hadoop平臺(tái)中由每個(gè)worker節(jié)點(diǎn)對(duì)項(xiàng)集的支持度進(jìn)行計(jì)算并整理事務(wù)集D中的相關(guān)事務(wù)，之后進(jìn)行Reduce階段合并事務(wù)中相同的子項(xiàng)集，然后把系統(tǒng)