基于云計算的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、云計算是一種商業(yè)計算模型,它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上,能為用戶提供按需分配的計算能力、存儲能力及應(yīng)用服務(wù)能力;云計算為存儲和分析海量數(shù)據(jù)提供了廉價高效的解決方案。數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中提取隱藏在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程,對科學(xué)研究與商業(yè)決策等多個領(lǐng)域起到了指導(dǎo)作用,具有深遠的社會和經(jīng)濟意義。數(shù)據(jù)挖掘由于所需要用到的運算存儲量均是巨大的,所以將

2、云計算與數(shù)據(jù)挖掘相結(jié)合可以有效的控制計算成本,提升數(shù)據(jù)挖掘的效率,突破傳統(tǒng)數(shù)據(jù)挖掘的瓶頸限制。云計算環(huán)境下的并行數(shù)據(jù)挖掘策略的研究具有重要的理論意義和應(yīng)用價值。
　　Hadoop框架作為目前業(yè)界最為有名的開源分布式計算框架,通過采用MapReduce并行化模型,有效的整合現(xiàn)有運算存儲能力,提供強大的分布式計算能力,MapReduce也被證實為高效的計算工具。本文主要完成以下工作:
　　1.總結(jié)云計算和數(shù)據(jù)挖掘的相關(guān)概念和技術(shù)

3、,分析了經(jīng)典關(guān)聯(lián)規(guī)則挖掘算法Apriori算法及其改進算法的優(yōu)缺點、Hadoop平臺和MapReduce編程模型。
　　2.基于以上基礎(chǔ)將Apriori算法轉(zhuǎn)化為MapReduce模型,實現(xiàn)Apriori并行化改造,同時采用一些優(yōu)化方法,提高Apriori算法在Hadoop框架下的表現(xiàn),最終實現(xiàn)具有高擴展性適合于云計算環(huán)境的MapReduce-Apriori算法。
　　3.將算法應(yīng)用于對某保險公司保單數(shù)據(jù)集的分析,結(jié)果表明,