基于Mahout的數(shù)據(jù)挖掘平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化進(jìn)程的不斷推進(jìn)，各行各業(yè)擁有的數(shù)據(jù)量急劇增加，越來越多的中小企業(yè)、科研單位等都需要使用數(shù)據(jù)挖掘系統(tǒng)對(duì)自己的海量數(shù)據(jù)進(jìn)行分析和挖掘。而現(xiàn)有的數(shù)據(jù)挖掘系統(tǒng)大多是針對(duì)某一特定領(lǐng)域開發(fā)的，系統(tǒng)實(shí)現(xiàn)較為復(fù)雜。尤其是處理的數(shù)據(jù)量特別龐大時(shí)，就需要通過云技術(shù)來實(shí)現(xiàn)挖掘算法，這種實(shí)現(xiàn)方式要求開發(fā)人員不但熟練掌握數(shù)據(jù)挖掘的相關(guān)原理應(yīng)用，也必須深入理解云平臺(tái)的底層實(shí)現(xiàn)機(jī)制，而普通開發(fā)人員很難具備這樣的能力，造成了海量數(shù)據(jù)挖據(jù)技術(shù)的商業(yè)化應(yīng)用難以推

2、廣。鑒于此，本文提出了一種以Mahout為基礎(chǔ)的數(shù)據(jù)挖掘平臺(tái)，它將在Hadoop云平臺(tái)下為用戶提供大規(guī)模數(shù)據(jù)集的挖掘服務(wù)，開發(fā)人員只需要通過調(diào)用本平臺(tái)的相關(guān)接口，就可以簡(jiǎn)單快捷的構(gòu)建自己的數(shù)據(jù)挖掘應(yīng)用程序，從而將開發(fā)人員從復(fù)雜的數(shù)據(jù)挖掘技術(shù)中解脫出來。
　　在本文中，Mahout相關(guān)的數(shù)據(jù)挖掘算法被作為一種底層應(yīng)用資源來看待，所以數(shù)據(jù)挖掘算法并不是本文的研究重點(diǎn)。本文希望向用戶屏蔽在云平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)挖掘的具體實(shí)現(xiàn)，將數(shù)據(jù)挖掘技術(shù)大

3、眾化、簡(jiǎn)單化，從而推廣數(shù)據(jù)挖掘技術(shù)在云平臺(tái)上的廣泛應(yīng)用。具體地說，第一，為了使用戶的需求定義簡(jiǎn)單明了，本文設(shè)計(jì)了用戶定義挖掘需求的相關(guān)規(guī)范，用以描述用戶的具體需求，包括數(shù)據(jù)規(guī)約工具和挖掘策略規(guī)約工具。其中，數(shù)據(jù)規(guī)約工具是定義用戶的數(shù)據(jù)訪問方式，挖掘策略規(guī)約工具是定義一個(gè)具體的挖掘策略，它包含了用戶選擇的算法，技術(shù)參數(shù)等內(nèi)容。為了滿足不同人群的應(yīng)用需求，挖掘策略規(guī)約工具還將挖掘參數(shù)設(shè)置分為通用設(shè)置和專業(yè)設(shè)置，通用設(shè)置是面對(duì)普通用戶的，專業(yè)

4、設(shè)置是面對(duì)有更高需求的挖掘?qū)I(yè)人士的。第二，本文設(shè)計(jì)了挖掘需求的解析方法，主要針對(duì)挖掘?qū)ο竺枋鑫募屯诰虿呗悦枋鑫募?。第三，為了方便獲取不同的數(shù)據(jù)集，并將其轉(zhuǎn)換成Mahout可以處理的格式，本文提供了各種數(shù)據(jù)源的訪問策略以及數(shù)據(jù)集的轉(zhuǎn)換方法。第四，本文對(duì)挖掘任務(wù)的執(zhí)行階段進(jìn)行了細(xì)致劃分，保證任務(wù)的執(zhí)行信息能夠及時(shí)反饋，用以實(shí)現(xiàn)任務(wù)的實(shí)時(shí)監(jiān)控。最后，本文設(shè)計(jì)了Mahout算法的統(tǒng)一化、簡(jiǎn)單化應(yīng)用方式，通過屏蔽不同算法之間的差異，使算法的應(yīng)