基于Hadoop的文本挖掘研究與應(yīng)用.pdf

1、當前伴隨互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息成為人們獲取信息的主要來源。人們通過Internet可以輕易獲取海量信息，但是信息的爆炸式增長也帶來一些不便。用戶面對海量數(shù)據(jù)，快速而有效的篩選出有價值信息顯得越來越困難。面對海量數(shù)據(jù)，傳統(tǒng)的單節(jié)點串行計算模式已經(jīng)滿足不了處理海量信息的要求，分布式技術(shù)為此帶來了新的解決方案，通過分布式的并行處理模式，能夠快速有效的完成對海量數(shù)據(jù)的計算。當前基于分布式發(fā)展而來的云計算，對處理海量數(shù)據(jù)和高并發(fā)問題優(yōu)勢明

2、顯。Hadoop平臺是近幾年應(yīng)用比較熱門的云平臺，其硬件成本較低通過普通PC集群即可構(gòu)成，同時能夠存儲及處理海量數(shù)據(jù)。
　　文本挖掘是數(shù)據(jù)挖掘的一個熱門分支，被廣泛應(yīng)用于搜索、分類、推薦等領(lǐng)域。傳統(tǒng)的串行計算模式應(yīng)用于當前的文本挖掘領(lǐng)域，面對海量的文本數(shù)據(jù)，其運算能力難以滿足要求?；诖吮疚倪x擇將Hadoop平臺與文本挖掘技術(shù)結(jié)合。本文著重研究了Hadoop下的文本預(yù)處理，及CURE聚類算法。本文主要工作如下:
　　(1)簡

3、單介紹了研究背景及意義、分布式技術(shù)、云平臺和文本挖掘等相關(guān)技術(shù)。
　　(2)研究了文本挖掘的文本預(yù)處理過程，提出了一種新的構(gòu)造停用詞表的方法。簡要介紹了Hadoop平臺的搭建過程。將文本預(yù)處理過程MapReduce化，通過Hadoop平臺并行計算完成文本預(yù)處理。并對比和分析了單機串行處理和Hadoop平臺并行處理的效率。
　　(3)簡要介紹了CURE聚類算法。提出了一種優(yōu)化TFIDF公式，并將其應(yīng)用于CURE算法MapRed

4、uce化的過程。分析對比了優(yōu)化前，以及優(yōu)化后的TFIDF公式的優(yōu)劣，并證明了優(yōu)化后的TFIDF公式比傳統(tǒng)的TFIDF公式有效性更高。
　　(4)測試和分析了CURE算法在Hadoop平臺下，不同集群的運行效率。通過統(tǒng)計分析相關(guān)計算結(jié)果，進一步證明了Hadoop平臺并行處理的優(yōu)勢。通過實驗分析本文提出的新的停用詞表構(gòu)造方法，以及對TFIDF的優(yōu)化，證明了本文研究具有一定的價值。同時證明了云計算技術(shù)應(yīng)用文本挖掘領(lǐng)域的有效性，為今后研究