基于云計算的文本聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊網(wǎng)的迅猛發(fā)展，網(wǎng)絡文本已經(jīng)成為信息的主要載體以及人們生活中不可或缺的主要信息來源[1]。一方面，伴隨著Web2.0時代的到來，網(wǎng)絡上每天都在持續(xù)不斷地產(chǎn)生大量的文本數(shù)據(jù)，并且這個速度遠遠地超過了人們對信息的利用能力。如何從這些大量的文本資源中獲取有價值的信息和知識已經(jīng)成為了一個亟待解決的重大問題;另一方面，普通的個人計算機由于硬件與軟件的瓶頸限制，對于這些規(guī)模海量、多源異構(gòu)、高噪聲、強時效的數(shù)據(jù)根本無法在可承受的時間范圍

2、內(nèi)進行處理分析，并且得到?jīng)Q策者需要的知識。而云計算模式的出現(xiàn)使得高性能的計算資源、軟件資源、硬件資源和服務資源得到共享，現(xiàn)在已經(jīng)成為信息領(lǐng)域的研究熱點之一。因此，研究基于分布式平臺的大文本集的聚類算法成為當下數(shù)據(jù)挖掘領(lǐng)域的一個研究熱點[2]。
　　在本論文中，我們首先實現(xiàn)了一種基于HIVE的分布式k-means算法的設計，先在Hadoop的分布式平臺上利用HIVE對結(jié)構(gòu)化的文本數(shù)據(jù)進行整合，然后對K-means聚類算法進行分析，發(fā)

3、現(xiàn)分布式計算對于K-means算法的加速比是有一定的提高的，這也是近年來很多論文進行研究的算法。接著我們設計了基于Google實驗室開發(fā)的一個分布式系統(tǒng)架構(gòu)——HadoopCURE聚類算法，實驗分成四部分進行，分別利用分布式平臺來計算實驗參數(shù)值、TFIDF值、文本間余弦距離和具體聚類算法，然后將不同大小數(shù)據(jù)集在不同個數(shù)的slave節(jié)點上運行的結(jié)果進行了對比，發(fā)現(xiàn)這種算法的伸縮性比較良好，更加適合大數(shù)據(jù)。在進行了兩個實驗后，論文又將CUR