并行FP-growth關(guān)聯(lián)規(guī)則算法研究.pdf

1、關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域中一種基本且重要的模型，其中頻繁模式增長算法（FP-growth算法）是關(guān)聯(lián)規(guī)則里的經(jīng)典算法，但隨著所需處理的數(shù)據(jù)集越來越大，F(xiàn)P-growth算法的挖掘效率變得低下，甚至不能在內(nèi)存中構(gòu)建一棵全局的FP-tree，因此，并行的FP-growth算法就相繼被提出。但傳統(tǒng)的FP-growth并行算法并沒有考慮各個計算子節(jié)點的負載均衡問題，以及節(jié)點間通信消耗的問題。
　　關(guān)聯(lián)規(guī)則挖掘在企業(yè)財務(wù)管理中也有很好的應(yīng)用，

2、隨著企業(yè)規(guī)模的不斷壯大，企業(yè)財務(wù)管理變得尤為重要。其中，企業(yè)財務(wù)風(fēng)險分析是企業(yè)財務(wù)管理中的重要一環(huán)，目前已有的企業(yè)財務(wù)風(fēng)險分析方法主要是從定性與定量兩個角度考慮，但是都有其不足，而且定量財務(wù)風(fēng)險分析所采用的Apriori算法也不能很好地應(yīng)對海量財務(wù)數(shù)據(jù)所帶來的挑戰(zhàn)。針對上述問題，論文的主要工作如下：
　?。?）針對頻繁1-項集F-list分組投影時會造成計算子節(jié)點間負載不均衡以及節(jié)點間存在大量通信傳輸?shù)膯栴}，論文提出了兩種優(yōu)化并行

3、算法：
　　1、基于貪心策略的負載優(yōu)化算法（GFP），該算法用于數(shù)據(jù)水平投影過程中，它利用貪心策略對F-list中的項進行分組，每次根據(jù)局部負載量最優(yōu)策略進行劃分，最終使得各個計算子節(jié)點具有相似的負載量。實驗表明，GFP比傳統(tǒng)的Hash分組方法能更好地實現(xiàn)負載均衡。
　　2、基于通信量優(yōu)化的FP-growth并行算法（TFP），GFP算法雖然可以解決負載均衡問題，但當某個頻繁項目的最大的條件模式基被投影到其他節(jié)點上時，會出現(xiàn)

4、大量的數(shù)據(jù)傳輸，導(dǎo)致節(jié)點之間的通信量增大。為了解決這一問題，TFP算法在為每個頻繁項目分組時，優(yōu)先考慮將其分到需要最小通信量的節(jié)點上去。實驗表明，TFP算法滿足節(jié)點負載均衡的同時，也保證了節(jié)點之間具有較小的通信量，從而比傳統(tǒng)的FP-growth并行算法效率更高。
　　（2）針對企業(yè)財務(wù)風(fēng)險定量分析中存在的不足，論文采用并行FP-growth優(yōu)化算法TFP替代Apriori算法，使得財務(wù)風(fēng)險分析系統(tǒng)具有處理大規(guī)模數(shù)據(jù)集的能力，從而降