基于Hadoop云計(jì)算平臺的聚類算法并行化研究.pdf

1、互聯(lián)網(wǎng)的規(guī)模與日俱增,與此同時(shí)產(chǎn)生了海量的相關(guān)數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)由于受到計(jì)算機(jī)自身性能以及編程模型的約束,產(chǎn)生了瓶頸,在處理這些數(shù)據(jù)的時(shí)候顯著無能為力。
　　數(shù)據(jù)挖掘旨在從大量的數(shù)據(jù)中自動(dòng)搜索隱藏于其中的有著特殊關(guān)系性的信息。面對具有高維度數(shù)據(jù)的海量數(shù)據(jù)時(shí),單處理機(jī)受限于運(yùn)算能力和內(nèi)存容量,因此多處理機(jī)平行處理的解決方案就被提出來了。最常見的思路就是將大規(guī)模數(shù)據(jù)集劃分為多個(gè)足夠單機(jī)處理的數(shù)據(jù)子集,并將這些子集合理分發(fā)給各個(gè)單

2、處理機(jī)節(jié)點(diǎn)處理,當(dāng)每個(gè)節(jié)點(diǎn)對自己分配到數(shù)據(jù)子集的處理完成后,將各自的結(jié)果匯總合并,最終得到的是對整個(gè)數(shù)據(jù)集的處理結(jié)果。同單處理機(jī)相比,多處理機(jī)多個(gè)運(yùn)算節(jié)點(diǎn)的并行處理數(shù)據(jù)模式可以顯著提高數(shù)據(jù)挖掘效率。
　　當(dāng)前在數(shù)據(jù)挖掘并行化領(lǐng)域中有關(guān)方法主要有基于MPI、PVM的并行、基于CPU、GPU的并行。前者簡單易用,但是對數(shù)據(jù)組織形式有較高要求,后者對硬件要求較高,不利于大規(guī)模推廣?？傮w來說,這幾種方法使得用戶過多的專注于實(shí)現(xiàn)并行計(jì)算細(xì)節(jié)

3、之中,使得用戶無暇顧及其他方面。
　　Map Reduce是Google早在2004年就提出來的編程模型,它簡化了開發(fā)并行程序的過程,推動(dòng)了并行計(jì)算的廣泛應(yīng)用。Google的Map Reduce是商業(yè)的系統(tǒng),2008年Apache Hadoop開源云平臺實(shí)現(xiàn)了Map Reduce編程模型,同時(shí)也實(shí)現(xiàn)了類似GFS(Google File System,谷歌文件系統(tǒng))的HDFS分布式文件系統(tǒng)。在近幾年中,隨著Hadoop開源平臺的發(fā)展

4、與廣泛應(yīng)用,使得大規(guī)模數(shù)據(jù)集的數(shù)據(jù)挖掘變得更加大眾化,因此本文提出了基于Hadoop云計(jì)算平臺來實(shí)現(xiàn)數(shù)據(jù)挖掘聚類算法的觀點(diǎn)。
　　云計(jì)算主要的思想是將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的虛擬資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲空間和各種軟件服務(wù)。本文的研究設(shè)想是通過部署云計(jì)算平臺,并將聚類算法MapReduce并行化,同時(shí)對數(shù)據(jù)分割、任務(wù)分配、并行處理、容錯(cuò)等細(xì)節(jié)進(jìn)行優(yōu)化。由于聚類算法比較繁多,本文僅從k均值聚類算法入