大數(shù)據(jù)背景下并行動態(tài)關(guān)聯(lián)規(guī)則挖掘研究.pdf

1、目前，大數(shù)據(jù)技術(shù)在社會各個領(lǐng)域和層面都發(fā)揮著巨大作用，且地位不斷躍升。能否整合并利用好大數(shù)據(jù)已經(jīng)成為政府和各經(jīng)濟(jì)體事業(yè)成敗的關(guān)鍵。作為一種新型的戰(zhàn)略資源，大數(shù)據(jù)具有明顯的自身特征：體量大、種類多、產(chǎn)生速度快、實時性要求高、價值密度低，這意味著傳統(tǒng)的單機(jī)串行算法已不能滿足大數(shù)據(jù)的處理需求，面向多機(jī)、并行、分布式的大數(shù)據(jù)處理方式變得越來越重要。
　　數(shù)據(jù)挖掘是挖掘數(shù)據(jù)潛在價值的關(guān)鍵技術(shù)，關(guān)聯(lián)規(guī)則技術(shù)作為一種經(jīng)典的數(shù)據(jù)挖掘方法備受關(guān)注。

2、傳統(tǒng)的關(guān)聯(lián)規(guī)則技術(shù)認(rèn)為規(guī)則是靜態(tài)的、一成不變的，只要被挖掘出來便可永久用于指導(dǎo)生產(chǎn)實踐。然而，現(xiàn)實中的規(guī)則是隨著時間變化的，為更好地描述這種規(guī)則隨時間變化的特性，本文采用了支持度向量SV和置信度向量CV，重點研究動態(tài)關(guān)聯(lián)規(guī)則的并行分層挖掘方法。
　　首先，本文通過對現(xiàn)有并行技術(shù)、并行關(guān)聯(lián)規(guī)則挖掘算法和動態(tài)關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行研究，提出了一種能夠?qū)崟r高效地處理大量數(shù)據(jù)的并行關(guān)聯(lián)規(guī)則挖掘算法——基于劃分的并行分層關(guān)聯(lián)規(guī)則挖掘（PHAR

3、M）算法。該算法基本思想是將整個數(shù)據(jù)集D隨機(jī)分割成若干個非重疊子數(shù)據(jù)集，并且每個子數(shù)據(jù)集還可繼續(xù)劃分成更小的子集，進(jìn)而并行分層地挖掘出局部頻繁項集；根據(jù)頻繁項集先驗性質(zhì)，連接局部頻繁項集得到全局候選項集；掃描D統(tǒng)計出每個候選項集的實際支持度，以確定全局頻繁項集。并通過建模分析和實驗，證明了該算法的高效性和在數(shù)據(jù)量較大時具有的明顯優(yōu)勢。
　　其次，本文在兩階段ITS算法的基礎(chǔ)上，將并行分層挖掘思想應(yīng)用到動態(tài)關(guān)聯(lián)規(guī)則挖掘的第一階段，提