基于RMI技術(shù)的分布式數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)與研究.pdf

1、數(shù)據(jù)挖掘，也稱為數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)，是從大量、不完全、模糊的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中、事先不知道的信息和知識(shí)的過程。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)采用的挖掘算法：一方面所處理的數(shù)據(jù)都是集中在一臺(tái)機(jī)器上，另一方面整個(gè)挖掘過程的計(jì)算也集中在一臺(tái)機(jī)器上。隨著各種網(wǎng)絡(luò)尤其是Internet的廣泛使用，網(wǎng)絡(luò)中可獲得的數(shù)據(jù)量持續(xù)增長，需要挖掘的數(shù)據(jù)源往往分布存儲(chǔ)在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上。同時(shí)，隨著信息技術(shù)應(yīng)用的深入，挖掘算法執(zhí)行的對(duì)象數(shù)據(jù)集越來越大，需要大量的

2、計(jì)算資源，這必然要求執(zhí)行挖掘算法的機(jī)器有相當(dāng)高的性能，一臺(tái)機(jī)器通常很難完成這種超大量的計(jì)算任務(wù)，與之相應(yīng)的在其它分布式站點(diǎn)上的機(jī)器有著充裕的計(jì)算資源卻不能有效地利用。對(duì)于這兩個(gè)問題，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)根本無法解決，因此分布式數(shù)據(jù)挖掘技術(shù)隨之而出。 所謂分布式數(shù)據(jù)挖掘就是使用分布式計(jì)算資源，從分布式數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)的過程，主要包括兩方面的內(nèi)容：一方面，跨多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)對(duì)分布式數(shù)據(jù)集進(jìn)行聯(lián)合挖掘；另一方面，利用網(wǎng)絡(luò)節(jié)點(diǎn)的計(jì)算資源進(jìn)行協(xié)

3、同挖掘，滿足巨大的計(jì)算工作量需求。通過對(duì)Agent、網(wǎng)格、RMI、CORBA等分布式技術(shù)進(jìn)行比較，可以發(fā)現(xiàn)，Agent、網(wǎng)格技術(shù)是兩種不成熟的技術(shù)，雖說有很好的前景，但使用和開發(fā)的難度很大。 而RMI技術(shù)是一種很成熟技術(shù)，相對(duì)容易使用，且具有跨平臺(tái)執(zhí)行的能力優(yōu)點(diǎn)。因此本文采用了RMI技術(shù)來實(shí)現(xiàn)分布式數(shù)據(jù)挖掘。本文以數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則FP-Tree算法和分類ID3算法為切入點(diǎn)，對(duì)運(yùn)用RMI技術(shù)進(jìn)行分布式算法設(shè)計(jì)進(jìn)行了探索，主要工

4、作包括： 首先，對(duì)要采用的分布式技術(shù)RMI做了深入的理解和掌握，并把傳統(tǒng)的數(shù)據(jù)挖掘算法中的數(shù)據(jù)處理部分和任務(wù)執(zhí)行部分發(fā)布為RMI服務(wù)。 其次，對(duì)傳統(tǒng)數(shù)據(jù)挖掘算法進(jìn)行了研究，主要包括關(guān)聯(lián)規(guī)則類經(jīng)典算法Apriori、FP-Tree等算法，分類經(jīng)典算法ID3、C4.5等算法。使用Java語言實(shí)現(xiàn)其中的FP-Tree、ID3算法。 再次，在深入分析傳統(tǒng)算法的基礎(chǔ)上，提出和實(shí)現(xiàn)數(shù)據(jù)與計(jì)算都分布的DFP算法和DID3算法。