關(guān)聯(lián)規(guī)則并行采掘算法的研究.pdf

1、目前傳統(tǒng)的關(guān)聯(lián)規(guī)則采掘技術(shù)大多采用串行算法,例如Level-wise算法、non-level-wise算法以及不產(chǎn)生候選項(xiàng)目集的算法,其中R.Agrawal等人提出的Apriori算法是處理事務(wù)數(shù)據(jù)庫中大項(xiàng)目集較為有效的算法.隨著分布式數(shù)據(jù)庫的發(fā)展,提出了采掘關(guān)聯(lián)規(guī)則更有效的并行算法,如Level-wise并行模式,DMA并行模式等,明顯地提高了采掘效率.其中pSPADE算法是一種廣泛應(yīng)用于大型數(shù)據(jù)庫上快速采掘頻繁序列的有效并行算法,它

2、將搜索空間分成了更小的基于后綴的類,可在每個(gè)處理器上獨(dú)立地處理,實(shí)現(xiàn)了數(shù)據(jù)的本地性最大化和同步的最小化.該文通過對(duì)pSPADE算法的研究,發(fā)現(xiàn)算法執(zhí)行中,處理器將所有的類和它的中間id列表存于主存,導(dǎo)致了大量的內(nèi)存開銷.當(dāng)處理更大的數(shù)據(jù)集時(shí),容易產(chǎn)生內(nèi)存不足而溢出.該文根據(jù)搜索算法內(nèi)存管理的思想,提出了一種內(nèi)存擴(kuò)展方案來解決這一問題.在內(nèi)存不足和獲得足夠內(nèi)存兩種情況下,把部分類寫入磁盤,釋放了內(nèi)存空間,緩解了內(nèi)存的壓力.在程序需要時(shí),再