基于MapReduce的并行文本聚類.pdf

1、文本聚類是一項具有重要應(yīng)用價值的研究,在一些應(yīng)用領(lǐng)域中,文本聚類需要處理的數(shù)據(jù)規(guī)模正在以非?？斓乃俣仍龃?。處理大規(guī)模數(shù)據(jù)需要采用高效的大規(guī)模數(shù)據(jù)分析技術(shù),傳統(tǒng)的串行編程模型在可擴(kuò)展性上存在嚴(yán)重不足,無法滿足大規(guī)模數(shù)據(jù)處理對計算資源和存儲資源的需求。以MapReduce為代表的分布式計算技術(shù)具備了良好的擴(kuò)展性,能夠極大地提高數(shù)據(jù)密集型算法的執(zhí)行效率、充分發(fā)揮基于普通硬件的計算集群的計算能力。
　　MapReduce分布式計算框架的出

2、現(xiàn)極大地降低了并行計算的門檻,同時MapReduce編程模型又以自身優(yōu)秀的架構(gòu)設(shè)計成為大數(shù)據(jù)處理技術(shù)的不二選擇。為了利用MapReduce分布式計算框架解決傳統(tǒng)的層次聚類算法在處理大規(guī)模語料數(shù)據(jù)時可擴(kuò)展性不足的問題,本文提出基于MapReduce編程模型的并行文本層次聚類算法。傳統(tǒng)的層次聚類算法針對串行編程模型進(jìn)行設(shè)計,因此將層次聚類算法并行化時,需要考量串行編程模型與分布式編程模型之間的差異,充分利用分布式計算平臺的特性來設(shè)計并行層次

3、聚類算法,以下是本文主要研究內(nèi)容的簡單概括:
　　1)對MapReduce分布式計算框架進(jìn)行深入的研究,包括MapReduce的數(shù)據(jù)分發(fā)策略、排序特性、將傳統(tǒng)的串行算法移植到MapReduce編程模型的必要條件。針對 MapReduce最重要的開源實現(xiàn) Hadoop中的關(guān)鍵模塊進(jìn)行了詳細(xì)的分析。
　　2)對文本聚類過程中涉及到的關(guān)鍵技術(shù)的MapReduce并行化進(jìn)行深入分析,重新設(shè)計包括文本分詞、特征選擇、特征權(quán)重計算在內(nèi)的

4、文本向量化關(guān)鍵步驟,為整個文本聚類過程的MapReduce并行化奠定基礎(chǔ)。
　　3)針對文本層次聚類算法很難實現(xiàn)計算并行的問題,提出基于數(shù)據(jù)劃分的并行文本層次聚類算法,解決了文本層次聚類算法的并行化。并行文本層次聚類將數(shù)據(jù)劃分引入傳統(tǒng)的層次聚類算法,合理地利用了MapReduce編程模型的排序特性及二次排序技術(shù)來高效地選取合并點(diǎn)。數(shù)據(jù)劃分算法采用基于文本向量分量組特征統(tǒng)計的垂直劃分算法,該算法簡單高效,可以有效地進(jìn)行大規(guī)模數(shù)據(jù)的快