一種改進的并行關(guān)聯(lián)規(guī)則挖掘算法.pdf

1、關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘的主要技術(shù)之一，這緣于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘在商業(yè)等領(lǐng)域的成功應(yīng)用，故而使它成為數(shù)據(jù)挖掘領(lǐng)域中最成熟、最重要、最活躍的研究內(nèi)容。 挖掘關(guān)聯(lián)規(guī)則問題的核心是發(fā)現(xiàn)頻繁項集。現(xiàn)今已有多種發(fā)現(xiàn)頻繁項集的算法，如Apriori、Partition等算法。為了提高挖掘頻繁項集的效率，引入了并行化技術(shù)。CD算法是對Apriori算法的簡單并行化，其目的是減少通信量，獲得較好的任務(wù)分布性。 本文針對CD算法存在的I/O量較重

2、、數(shù)據(jù)結(jié)構(gòu)重復(fù)、不能有效利用整個內(nèi)存等問題，提出一種改進的并行關(guān)聯(lián)規(guī)則挖掘算法。該算法在遵循CD算法思想的基礎(chǔ)上，采用動態(tài)數(shù)據(jù)集劃分技術(shù)對數(shù)據(jù)庫中的數(shù)據(jù)先進行劃分，然后再由控制處理器分配至各個處理器，以此來減少I/O操作量；提出通過由一個控制處理器來控制其它處理器的方法，實現(xiàn)挖掘部分的并行化；在此基礎(chǔ)上，提出在各個處理器上應(yīng)用P-tree結(jié)構(gòu)來存儲數(shù)據(jù)，以達到優(yōu)化各個處理器中所存儲數(shù)據(jù)的結(jié)構(gòu)、有效利用內(nèi)存的目的，從而快速找出頻繁項集，實