數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)則算法的改進(jìn)與并行化處理.pdf

1、關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的一個(gè)重要研究課題，其主要目地是發(fā)現(xiàn)數(shù)據(jù)之間的相關(guān)性。針對(duì)關(guān)聯(lián)規(guī)則挖掘在處理大數(shù)據(jù)集遇到的瓶頸問(wèn)題，分析造成關(guān)聯(lián)規(guī)則挖掘算法低效的原因，對(duì)關(guān)聯(lián)規(guī)則挖掘算法Apriori和FP-Growth(Frequent Pattern Growth)的挖掘過(guò)程進(jìn)行了深入研究?；诤蜻x集的Apriori算法在挖掘關(guān)聯(lián)規(guī)則時(shí)，需要多次掃描數(shù)據(jù)庫(kù)，占用大量的I/O資源，算法效率降低；無(wú)候選集的FP-Growth算法在運(yùn)行過(guò)程中只需掃

2、描兩次數(shù)據(jù)庫(kù)，在處理海量數(shù)據(jù)時(shí)，F(xiàn)P-Tree的存儲(chǔ)操作會(huì)消耗大量的內(nèi)存。針對(duì)兩個(gè)算法存在的問(wèn)題，主要研究?jī)?nèi)容如下：
　　Apriori算法的改進(jìn)。針對(duì)基于候選集的Apriori算法處理數(shù)據(jù)效率較低問(wèn)題，通過(guò)去除候選集并結(jié)合布爾矩陣的方式來(lái)壓縮存儲(chǔ)事務(wù)數(shù)據(jù)，提出了Apriori的改進(jìn)算法，改進(jìn)算法通過(guò)條件連接矩陣后直接生成頻繁項(xiàng)集，可以大幅減少掃描數(shù)據(jù)庫(kù)的次數(shù)，提高處理效率。
　　FP-Growth算法的改進(jìn)。針對(duì)無(wú)候選集的

3、FP-Growth算法運(yùn)用頻繁模式樹(shù)存儲(chǔ)數(shù)據(jù)浪費(fèi)內(nèi)存問(wèn)題，使用差集和剪枝技術(shù)對(duì)垂直存儲(chǔ)的事務(wù)數(shù)據(jù)進(jìn)行關(guān)聯(lián)挖掘，提出FP-Growth的改進(jìn)算法，有效的減少了內(nèi)存的消耗。
　　并行化處理為處理海量數(shù)據(jù)提供了一個(gè)新的解決方案。課題在優(yōu)秀的并行化框架CPU/GPU上對(duì)Apriori改進(jìn)算法和FP-Growth改進(jìn)算法進(jìn)行并行化處理。并行系統(tǒng)上，算法的邏輯處理部分在CPU中實(shí)現(xiàn)，并行處理部分在GPU中實(shí)現(xiàn)，利用各自性能優(yōu)勢(shì)提升算法性能。通