基于MapReduce的分布式關(guān)聯(lián)規(guī)則挖掘算法研究.pdf

1、在數(shù)據(jù)挖掘的研究范疇中,關(guān)聯(lián)規(guī)則挖掘算法是至關(guān)重要的一個(gè)分支。關(guān)聯(lián)規(guī)則算法因其目的明確、實(shí)現(xiàn)靈活、求解方便有效、應(yīng)用范圍廣泛等特點(diǎn)成為挖掘數(shù)據(jù)深層價(jià)值的重要手段。它的應(yīng)用在互聯(lián)網(wǎng)飛速發(fā)展的今天擁有更加突出研究意義。信息化迅速加快的今天,數(shù)據(jù)呈現(xiàn)出爆炸式的增長(zhǎng),此刻,分布式關(guān)聯(lián)規(guī)則算法有了更廣闊的發(fā)展空間。本文先分析了傳統(tǒng)的關(guān)聯(lián)規(guī)則算法,隨后著重研究了分布式條件下的關(guān)聯(lián)規(guī)則算法。論文采用目前較為成熟的Hadoop分布式平臺(tái),對(duì)分布式關(guān)聯(lián)規(guī)

2、則算法的改進(jìn)提出了全新的思路。針對(duì)目前基于MapReduce分布式關(guān)聯(lián)規(guī)則算法的不足首先引入了全局剪枝策略,提高了算法效率。然后運(yùn)用頻繁矩陣存儲(chǔ)的方式減少了內(nèi)存的消耗。
　　首先,在全面了解關(guān)聯(lián)規(guī)則算法背景和研究現(xiàn)狀之后,針對(duì)現(xiàn)有算法無(wú)法處理大規(guī)模數(shù)據(jù)以及分布式數(shù)據(jù)的缺點(diǎn),應(yīng)用Hadoop平臺(tái)實(shí)現(xiàn)對(duì)規(guī)則和知識(shí)的發(fā)現(xiàn)的過(guò)程。應(yīng)用MapReduce計(jì)算模型可以有效地解決數(shù)據(jù)分塊處理運(yùn)用多臺(tái)計(jì)算機(jī)協(xié)同處理海量數(shù)據(jù)的問(wèn)題。使得以前難以解決

3、的問(wèn)題變得簡(jiǎn)單。
　　其次,針對(duì)現(xiàn)有的MapReduce關(guān)聯(lián)規(guī)則算法,提出了大規(guī)模數(shù)據(jù)分布式處理的MPAOR(Map Apriori OneReduce Algorithm)算法,本算法在實(shí)現(xiàn)了已有的MPAriori(Map Reduce Apriori Algorithm)算法的基礎(chǔ)上加入了全局剪枝的技術(shù),使得計(jì)算頻繁項(xiàng)集的計(jì)數(shù)量再一次減少,同時(shí)論文把頻繁矩陣的存儲(chǔ)方式加入到分布式關(guān)聯(lián)規(guī)則算法中,提出了MapReduce計(jì)算模型