數(shù)據(jù)挖掘中海量數(shù)據(jù)處理算法的研究與實現(xiàn).pdf

1、數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中提取出有用的、有價值的信息或者人們所感興趣的知識的一種處理過程。但是隨著不斷迅速發(fā)展的信息互聯(lián)網(wǎng)和數(shù)據(jù)庫技術,已經(jīng)迫使海量數(shù)據(jù)的處理成為數(shù)據(jù)挖掘領域所要解決的一個重要課題。
　　本文以“電信數(shù)據(jù)挖掘系統(tǒng)的設計與開發(fā)”的項目為研究背景,通過對海量數(shù)據(jù)處理技術的研究,提出了使用內(nèi)存映射文件技術對海量數(shù)據(jù)進行初步處理的方法;通過對海量數(shù)據(jù)挖掘算法及粒計算理論知識的研究,本文提出了兩種數(shù)據(jù)挖掘算法:一種是基于矩陣

2、壓縮的Apriroi算法(MC-Apriori),這種算法是在經(jīng)典Apriori算法基礎上的改進,把事務數(shù)據(jù)轉化為0-1矩陣,并按照Apriori性質(zhì)及其推論對矩陣進行反復壓縮,進而得到各項頻繁項集,此算法也在一定程度上減少了數(shù)據(jù)規(guī)模及其計算量;一種是基于粒計算的關聯(lián)規(guī)則挖掘算法(Grc-AR),此算法是在MC-Apriori算法的基礎上引入粒計算的思想,把海量數(shù)據(jù)集劃分成若干個小數(shù)據(jù)集,然后對各個小數(shù)據(jù)集進行操作,并對結果進行整合,得