云環(huán)境下數(shù)據(jù)挖掘算法的研究與設計.pdf

1、數(shù)據(jù)挖掘，又名知識發(fā)現(xiàn)，是指從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，智能地搜尋隱含在其中的有價值的信息。通過數(shù)據(jù)挖掘，不僅可以總結過去的發(fā)展歷程，同時還能預測未來的發(fā)展趨勢，為商業(yè)決策、醫(yī)療研究、軍事等領域提供強有力的支持。然而隨著大數(shù)據(jù)時代的到來，日益龐大的數(shù)據(jù)規(guī)模正在向傳統(tǒng)數(shù)據(jù)挖工作發(fā)起挑戰(zhàn)。大規(guī)模的計算能力成為數(shù)據(jù)挖掘技術能否有效實現(xiàn)的先決條件。所幸的是，計算機技術與互聯(lián)網(wǎng)技術的發(fā)展，在產(chǎn)生大數(shù)據(jù)的同時，也孕育出了全新

2、的云計算技術。憑借云計算其分布式計算平臺所提供的強大計算能力，云計算與數(shù)據(jù)挖掘二者的結合存在著巨大的優(yōu)勢和潛力。將云計算應用到數(shù)據(jù)挖掘中，可以為越來越多的海量數(shù)據(jù)挖掘提供解決方案，這已經(jīng)成為數(shù)據(jù)挖掘行業(yè)發(fā)展的趨勢。
　　在數(shù)據(jù)挖掘中，關聯(lián)規(guī)則和聚類分析是重要的數(shù)據(jù)挖掘算法。其中，關聯(lián)規(guī)則算法中的核心是Apriori算法，它是通過多次掃描數(shù)據(jù)庫來尋找所有的頻繁項集。當面對大規(guī)模數(shù)據(jù)時，重復的數(shù)據(jù)庫掃描將花費大量時間和內(nèi)存空間，大大降

3、低了算法執(zhí)行的效率。同樣的，典型的聚類算法K-means算法需要多次進行數(shù)據(jù)對象與聚類中心間距離的計算以及同一聚類內(nèi)點平均值的計算。在處理規(guī)模較大的數(shù)據(jù)時，同樣受制于內(nèi)存容量，往往不能有效地運行。因此，本文主要是利用Hadoop云計算平臺強大的分布式計算和存儲數(shù)據(jù)的能力，基于MapReduce編程模型將傳統(tǒng)串行算法并行化設計，從而解決關聯(lián)規(guī)則和聚類分析中所面臨的有效處理大規(guī)模數(shù)據(jù)問題。
　　首先，本文主要介紹了云計算Hadoop框

4、架、關聯(lián)規(guī)則Apriori算法及聚類分析K-means，同時深入研究Hadoop的兩大核心技術——HDFS分布式文件系統(tǒng)及MapReduce編程模型。接著，基于MapReuduce編程模型，對傳統(tǒng)數(shù)據(jù)挖掘Apriori算法和K-means進行改進，分別提出并行化設計方案。并行化后的算法將重復的計算工作分布在各個節(jié)點，減少了單個節(jié)點的計算負擔和計算時間，有效地提高了算法效率，使它們能并行處理大規(guī)模數(shù)據(jù)。最后，將基于MapReduce并行化