大數(shù)據(jù)環(huán)境下關(guān)聯(lián)規(guī)則算法的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，數(shù)據(jù)信息呈現(xiàn)出爆炸性的增長(zhǎng)趨勢(shì)，很多企業(yè)每天產(chǎn)生的數(shù)據(jù)量已經(jīng)達(dá)到TB級(jí)甚至PB級(jí)。面對(duì)如此巨大的數(shù)據(jù)集，數(shù)據(jù)挖掘的過(guò)程會(huì)受到算法實(shí)現(xiàn)復(fù)雜，運(yùn)行平臺(tái)計(jì)算能力有限等問(wèn)題的制約，無(wú)法達(dá)到預(yù)期效果。關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘技術(shù)中的重要分支，具有廣泛的應(yīng)用領(lǐng)域。Hadoop開源平臺(tái)的興起與發(fā)展，為數(shù)據(jù)挖掘算法提供了新的思路。Hadoop因其良好的容錯(cuò)性和可擴(kuò)展性，能夠在一定程度上解決關(guān)聯(lián)規(guī)則算法運(yùn)行時(shí)的兩個(gè)主要瓶頸：計(jì)算量大和I/

2、O負(fù)擔(dān)過(guò)重問(wèn)題。
　　本文重點(diǎn)研究關(guān)聯(lián)規(guī)則中經(jīng)典的基于水平數(shù)據(jù)集的Apriori算法和基于垂直數(shù)據(jù)集的EClat算法，給出了其基于Hadoop平臺(tái)的改進(jìn)實(shí)現(xiàn)。其中針對(duì)Apriori算法需要迭代運(yùn)算，多次掃描數(shù)據(jù)庫(kù)，不適應(yīng)Hadoop平臺(tái)的特點(diǎn)，提出了縮減數(shù)據(jù)集，確定最高階次Km，基于2-頻繁項(xiàng)集進(jìn)行剪枝一次生成3-Km項(xiàng)集的優(yōu)化策略。對(duì)于Eclat算法，提出兩種Hadoop平臺(tái)下并行化算法：D-MREclat算法和A-MREcla

3、t算法。前者通過(guò)對(duì)垂直數(shù)據(jù)集進(jìn)行范圍劃分進(jìn)行數(shù)據(jù)分塊，能夠減少后繼計(jì)算中“交”運(yùn)算操作的次數(shù)，從而提高算法的運(yùn)行效率。后者引入Apriori思想，采用基于前綴的搜索空間劃分方法，實(shí)現(xiàn)Eclat算法的并行化，這種方法在處理大規(guī)模數(shù)據(jù)集時(shí)運(yùn)行效率更好。針對(duì)Eclat算法運(yùn)行中產(chǎn)生大量候選項(xiàng)集導(dǎo)致內(nèi)存占用嚴(yán)重等問(wèn)題，本文提出一種壓縮數(shù)據(jù)的存儲(chǔ)方式，對(duì)運(yùn)行結(jié)果進(jìn)行壓縮表示，有效減少了網(wǎng)絡(luò)通信量，達(dá)到提高算法運(yùn)行效率的目的。
　　對(duì)上述3種