基于MapReduce的并行關(guān)聯(lián)規(guī)則算法研究.pdf

1、關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域中一個十分重要的研究課題，在各個領(lǐng)域中都有很廣泛的應(yīng)用。如何正確地挖掘并使用關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘的重要任務(wù)，因此，對關(guān)聯(lián)規(guī)則的研究具有重要的理論和現(xiàn)實意義。然而，隨著信息技術(shù)的發(fā)展，特別是互聯(lián)網(wǎng)的迅速發(fā)展，數(shù)據(jù)積累呈現(xiàn)出指數(shù)級的增長趨勢，如何從海量數(shù)據(jù)中挖掘出有用的信息和知識是亟待解決的問題。因此，對并行的關(guān)聯(lián)規(guī)則算法研究有重大價值。
　　 本文針對海量數(shù)據(jù)的數(shù)據(jù)挖掘問題，以MapReduce并行編程模型

2、和關(guān)聯(lián)規(guī)則理論為基礎(chǔ)，對并行關(guān)聯(lián)規(guī)則算法進(jìn)行研究，提出基于MapReduce的并行PrunedFP-tree算法和并行Apriori算法。并基于Hadoop平臺，設(shè)計和實現(xiàn)了一個海量數(shù)據(jù)挖掘原型系統(tǒng)，取得的研究成果具體如下:
　　 (1)針對FP-Growth算法在挖掘FP-tree中存在特殊的單路徑項集問題，提出Pruned FP-tree算法。該算法首先提出一個FP-tree的剪枝策略，可以減少部分分支的迭代次數(shù)，提高了下一

3、步條件FP-tree建立和挖掘的效率，并得到精確的條件模式基。然后采用MapReduce并行編程模型，提出基于MapReduce的并行PrunedFP-tree算法。該算法不僅可以提高挖掘效率，而且有效解決了在進(jìn)行海量數(shù)據(jù)挖掘時傳統(tǒng)方法造成內(nèi)存不足的問題。仿真實驗表明該算法在處理大數(shù)據(jù)時，有良好的性能。
　　 (2)針對經(jīng)典Apriori算法對PC機內(nèi)存要求很高的缺點，提出基于MapReduce的并行Apriori算法。該算法在