數(shù)據(jù)挖掘中海量數(shù)據(jù)處理算法的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中提取出有用的、有價(jià)值的信息或者人們所感興趣的知識(shí)的一種處理過(guò)程。但是隨著不斷迅速發(fā)展的信息互聯(lián)網(wǎng)和數(shù)據(jù)庫(kù)技術(shù),已經(jīng)迫使海量數(shù)據(jù)的處理成為數(shù)據(jù)挖掘領(lǐng)域所要解決的一個(gè)重要課題。
　　本文以“電信數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)與開發(fā)”的項(xiàng)目為研究背景,通過(guò)對(duì)海量數(shù)據(jù)處理技術(shù)的研究,提出了使用內(nèi)存映射文件技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行初步處理的方法;通過(guò)對(duì)海量數(shù)據(jù)挖掘算法及粒計(jì)算理論知識(shí)的研究,本文提出了兩種數(shù)據(jù)挖掘算法:一種是基于矩陣

2、壓縮的Apriroi算法(MC-Apriori),這種算法是在經(jīng)典Apriori算法基礎(chǔ)上的改進(jìn),把事務(wù)數(shù)據(jù)轉(zhuǎn)化為0-1矩陣,并按照Apriori性質(zhì)及其推論對(duì)矩陣進(jìn)行反復(fù)壓縮,進(jìn)而得到各項(xiàng)頻繁項(xiàng)集,此算法也在一定程度上減少了數(shù)據(jù)規(guī)模及其計(jì)算量;一種是基于粒計(jì)算的關(guān)聯(lián)規(guī)則挖掘算法(Grc-AR),此算法是在MC-Apriori算法的基礎(chǔ)上引入粒計(jì)算的思想,把海量數(shù)據(jù)集劃分成若干個(gè)小數(shù)據(jù)集,然后對(duì)各個(gè)小數(shù)據(jù)集進(jìn)行操作,并對(duì)結(jié)果進(jìn)行整合,得