仿真數(shù)據(jù)并行分布式挖掘算法研究.pdf

1、仿真實(shí)驗(yàn)產(chǎn)生了大規(guī)模的仿真數(shù)據(jù)，為了從中提取有用的信息和知識(shí)，更好地認(rèn)識(shí)和改進(jìn)系統(tǒng)，幫助決策人員分析決策，可以用數(shù)據(jù)挖掘方法來(lái)進(jìn)行仿真數(shù)據(jù)分析。由于仿真數(shù)據(jù)具有維度高、規(guī)模大的特點(diǎn)，需要采用并行挖掘算法來(lái)提高效率。又根據(jù)仿真數(shù)據(jù)分布式存儲(chǔ)的特點(diǎn)，避免大規(guī)模數(shù)據(jù)集中所帶來(lái)的開銷以及安全性，需要研究分布式挖掘算法。本文主要的研究工作包括以下內(nèi)容：
　　根據(jù)仿真數(shù)據(jù)固有特點(diǎn)和分布式存儲(chǔ)特點(diǎn)，提出了并行分布式挖掘的需求。根據(jù)數(shù)據(jù)挖掘的基本

2、流程，總結(jié)了仿真數(shù)據(jù)挖掘的一般流程。尋規(guī)律和尋優(yōu)是仿真中的兩種重要需求，相應(yīng)地研究了兩種常用的挖掘方法：關(guān)聯(lián)規(guī)則和決策樹，來(lái)挖掘系統(tǒng)中的一些關(guān)聯(lián)規(guī)律，以及對(duì)仿真系統(tǒng)的優(yōu)化。
　　對(duì)于仿真實(shí)驗(yàn)尋規(guī)律的需求，將關(guān)聯(lián)規(guī)則挖掘方法應(yīng)用其中。對(duì)基本的Apriori算法進(jìn)行研究改進(jìn)，采用了向量化的數(shù)據(jù)結(jié)構(gòu)，減少了輸入數(shù)據(jù)集的存儲(chǔ)空間，可以將數(shù)據(jù)集放入內(nèi)存，避免對(duì)數(shù)據(jù)庫(kù)多次掃描帶來(lái)的I/O開銷，提高了算法的效率。用vector容器替代哈希樹存儲(chǔ)

3、候選項(xiàng)集，減少了算法的空間復(fù)雜度。同時(shí)為了適應(yīng)仿真數(shù)據(jù)大規(guī)模的特點(diǎn)，根據(jù)CD(Count Distribute)算法的思想對(duì)算法進(jìn)行并行化，并且對(duì)算法的拓展性進(jìn)行了實(shí)驗(yàn)設(shè)計(jì)分析。
　　針對(duì)解決仿真實(shí)驗(yàn)尋優(yōu)的需求，采用了決策樹挖掘方法。由于仿真數(shù)據(jù)分布式存儲(chǔ)的特點(diǎn)，研究了基于元學(xué)習(xí)的分布式分類器，以及決策樹的兩種并行化方法，同步樹構(gòu)建方法和分割樹構(gòu)建方法，實(shí)現(xiàn)基于ID3算法的同步樹決策樹挖掘算法，最后通過(guò)仿真測(cè)試驗(yàn)證了算法的有效性。