基于海量數(shù)據(jù)的文本分類算法的MapReduce實現(xiàn)研究.pdf

1、2008年以來，云計算在IT業(yè)被廣泛關注。云計算被看作是分布式處理、并行處理以及網(wǎng)格計算發(fā)展的產(chǎn)物，其中云計算的關鍵是并發(fā)、分布，核心是海量數(shù)據(jù)處理。但是云計算只是一種方法模型，要想真正實現(xiàn)它的價值，除了硬件以外，還要有軟件平臺及能夠在此平臺上高效運行的分布式程序。
　　海量數(shù)據(jù)處理的問題在數(shù)據(jù)挖掘領域經(jīng)常遇見，許多傳統(tǒng)挖掘算法存在如下瓶頸：只適合于小規(guī)模的數(shù)據(jù)量，如果當數(shù)據(jù)量增大時，它們將不再適用，效率方面將會受到很大影響。然而

2、，云計算的出現(xiàn)恰好解決了這樣的問題，它的優(yōu)勢就在于處理大規(guī)模數(shù)據(jù)，如果我們在云計算平臺上能夠?qū)崿F(xiàn)相應的傳統(tǒng)數(shù)據(jù)挖掘算法，那么上述的傳統(tǒng)數(shù)據(jù)挖掘算法的瓶頸問題將會得到有效解決。而能否借助云計算平臺切實解決傳統(tǒng)數(shù)據(jù)挖掘算法的上述瓶頸，關鍵的問題還在于能否將相應的數(shù)據(jù)挖掘算法進行并行化實現(xiàn)。
　　本文的貢獻在于詳細介紹了傳統(tǒng)樸素貝葉斯算法的執(zhí)行流程，指出了其存在的瓶頸問題，并提出了并行化的解決方案。然后詳細介紹了Hadoop平臺上傳統(tǒng)貝

3、葉斯算法MapReduce化的實現(xiàn)方法，最后通過傳統(tǒng)貝葉斯算法與MapReduce化貝葉斯算法處理數(shù)據(jù)實驗的對比，證明了云計算平臺上數(shù)據(jù)挖掘算法的并行化大大降低了大規(guī)模數(shù)據(jù)的處理時間，并且通過實驗，分析了MapReduce化貝葉斯程序的幾個主要性能參數(shù)對作業(yè)運行時間的影響。本文在九個節(jié)點上搭建Hadoop集群，通過六種不同的實驗方案執(zhí)行傳統(tǒng)貝葉斯程序和MapReduce化貝葉斯程序，然后分析作業(yè)運行結果。結果表明：1)MapReduce