基于高級SQL查詢的分布式多維關(guān)聯(lián)規(guī)則挖掘算法的研究.pdf

1、多維關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的重要研究內(nèi)容。與此同時，隨著Internet的迅猛發(fā)展，分布式數(shù)據(jù)庫得到廣泛應(yīng)用。因此，迫切需要一種方法解決分布式環(huán)境下多維關(guān)聯(lián)規(guī)則挖掘的問題。
　　 本文提出了一種基于高級SQL查詢的MDMA（Multi-dimensional Distributed MiningAssociation rules）算法。本算法基于星型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，由中心站點(diǎn)和分站點(diǎn)組成，中心站點(diǎn)負(fù)責(zé)控制挖掘過程和顯示挖掘結(jié)果，分

2、站點(diǎn)負(fù)責(zé)挖掘局部頻繁項(xiàng)集和對全局頻繁模式進(jìn)行局部支持度計(jì)數(shù)。本算法利用了SQL新標(biāo)準(zhǔn)中的CUBE運(yùn)算符，能夠通過一次掃描局部數(shù)據(jù)庫產(chǎn)生全部的局部頻繁項(xiàng)集，使得在挖掘過程中不必通過多次迭代產(chǎn)生頻繁項(xiàng)集。本算法采用兩次知識融合技術(shù)來實(shí)現(xiàn)分布式頻繁模式挖掘。首先，從各個分站點(diǎn)挖掘出的局部頻繁項(xiàng)集中提取出全局候選頻繁模式，然后，中心站點(diǎn)根據(jù)篩選出的全局候選頻繁項(xiàng)集構(gòu)建全局?jǐn)U展頻繁模式樹。此全局?jǐn)U展頻繁模式樹會從中心站點(diǎn)發(fā)往各個分站點(diǎn)。各個分站點(diǎn)

3、接收到全局?jǐn)U展頻繁模式樹之后，利用本地局部數(shù)據(jù)庫中的數(shù)據(jù)計(jì)算各個全局候選頻繁項(xiàng)集的局部支持度計(jì)數(shù)并把計(jì)算結(jié)果發(fā)往中心站點(diǎn)。中心站點(diǎn)會對各個分站點(diǎn)發(fā)送過來的計(jì)數(shù)結(jié)果進(jìn)行匯總統(tǒng)計(jì)并根據(jù)統(tǒng)計(jì)結(jié)果找出全局頻繁項(xiàng)集。因此，不管分站點(diǎn)數(shù)量為多少，各個分站點(diǎn)局部數(shù)據(jù)庫規(guī)模如何，此算法始終只需兩次掃描數(shù)據(jù)庫和三次網(wǎng)絡(luò)通信就可產(chǎn)生全部的全局頻繁項(xiàng)集。為高效地實(shí)現(xiàn)多維全局頻繁模式的知識融合，本算法提出了一種全新的數(shù)據(jù)結(jié)構(gòu)，即全局?jǐn)U展頻繁模式樹。該樹中引入了

4、復(fù)合結(jié)點(diǎn)，復(fù)合結(jié)點(diǎn)由若干元結(jié)點(diǎn)組成。同一復(fù)合結(jié)點(diǎn)內(nèi)的元結(jié)點(diǎn)是邏輯或的關(guān)系。這種數(shù)據(jù)結(jié)構(gòu)簡化了多維全局頻繁模式驗(yàn)證過程中遍歷樹搜索匹配結(jié)點(diǎn)的過程，并提高了挖掘結(jié)果的可視化程度。MDMA算法還充分考慮了用戶的偏好，用戶可以自由決定對哪幾個屬性進(jìn)行挖掘。本算法具有網(wǎng)絡(luò)通信量小，耗時少，簡單易行，擴(kuò)展性好和考慮用戶偏好的特點(diǎn)。
　　 為了便于用戶利用MDMA算法進(jìn)行分布式多維關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘，本文開發(fā)了基于WEB的分布式關(guān)聯(lián)規(guī)則挖掘系統(tǒng)