基于hadoop平臺的分布式數(shù)據(jù)挖掘系統(tǒng)研究與設計.pdf

1、伴隨著web2.0、云計算、物聯(lián)網(wǎng)等概念和技術的提出與快速發(fā)展,信息時代越來越體現(xiàn)出它的“大數(shù)據(jù)”特征。為了發(fā)揮大數(shù)據(jù)的價值,數(shù)據(jù)倉庫、數(shù)據(jù)挖掘技術在商業(yè)、軍事、經(jīng)濟、學術等眾多領域越來越收到重視,正發(fā)揮著越來越大的作用。與此同時,龐大的數(shù)據(jù)規(guī)模也向傳統(tǒng)的數(shù)據(jù)挖掘工作提出了重大的挑戰(zhàn)。依靠云計算等分布式計算平臺所提供的強勁處理能力,將數(shù)據(jù)挖掘與云計算相結合正在成為行業(yè)的趨勢,正不斷地顯現(xiàn)出其強大的優(yōu)勢和潛力。
　　以Hadoop為

2、代表的分布式系統(tǒng),正在逐漸成為大數(shù)據(jù)挖掘系統(tǒng)必要組成部分。因此,本課題就是在Hadoop分布式系統(tǒng)上完成數(shù)據(jù)挖掘任務的一次實踐。主要任務是使用Hadoop搭建分布式集群環(huán)境,并在該環(huán)境上部署數(shù)據(jù)挖掘任務。研究Hadoop系統(tǒng)架構,對其分布式文件系統(tǒng)HDFS和MapReduce并行編程模型的原理和實現(xiàn)進行深入理解。系統(tǒng)掌握數(shù)據(jù)挖掘過程,將傳統(tǒng)的數(shù)據(jù)挖掘算法使用MapReduce編程實現(xiàn),并針對Hadoop平臺的數(shù)據(jù)挖掘算法的執(zhí)行情況進行研