分布式挖掘算法DDA的設計及其在DADM模型中的實現(xiàn).pdf

1、目前研究的重點是如何找出頻繁大項集(large itemset),圍繞這個問題,R.Agrawal等在1994年提出了Apriori算法,它是一種經(jīng)典的頻集方法,但是Apriori算法也存在一些固有的缺陷:①多次重復掃描數(shù)據(jù)庫,增加了挖掘過程中I/O操作的次數(shù),加重了CPU的負擔,影響計算效率.②只是適用于集中式數(shù)據(jù)庫,不能應用到分布式數(shù)據(jù)庫中③無法對稀有數(shù)據(jù)進行分析.該文首先從理論和應用兩個角度分析了Apriori算法的局限性,并且針

2、對該算法的不足,設計了一種新的能夠應用到分布式系統(tǒng)的算法,新的算法:①將數(shù)據(jù)水平分片到各個局部數(shù)據(jù)庫中.②在各局部數(shù)據(jù)庫上進行局部剪枝,產生局部大項集.③將局部大項集傳送到其他節(jié)點④各個節(jié)點在收到其他節(jié)點發(fā)來的數(shù)據(jù)以后進行全局剪枝.因為經(jīng)過了局部剪枝和全局剪枝的兩個過程,數(shù)據(jù)量會從O(n<'2>)減少到O(n).然后,根據(jù)新的挖掘算法,結合港口與集裝箱運輸?shù)膶嶋H情況,設計了面向港口與集裝箱運輸?shù)臄?shù)據(jù)挖掘模型DADM,在挖掘模型DADM的

3、實現(xiàn)過程中,運用支持多平臺的JAVA開發(fā)語言,采用了面向對象的設計和開發(fā)方法.同時,在知識的表達和解釋機制方面也作了很多工作,使知識的表達不僅限于數(shù)字和符號,而是更容易理解的表格、圖形等.最后,總結出設計挖掘算法和挖掘模型的方法,為針對分布式系統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)的設計和研究提供了一種新嘗試.DADM挖掘模型以集裝箱運輸行業(yè)為背景,功能完善,操作簡單,可擴展性強.同時,DADM挖掘模型在二次開發(fā)上并不受行業(yè)限制,通過分析具體的行業(yè)領域數(shù)據(jù),