基于云計算的文本挖掘算法研究.pdf

1、文本挖掘就是從非結構化的文本數據中獲取用戶關心和有價值的信息的過程。作為數據挖掘中一個重要的研究方向，文本挖掘已經被廣泛地應用到搜索、分類、推薦系統(tǒng)、輿情和觀點挖掘等多個領域。隨著互聯(lián)網上信息爆炸式的增長，海量數據的處理成為了當今的熱點也是難點，單一服務器在多數情況下已不能滿足海量數據處理的需要，所以分布式計算是未來的發(fā)展趨勢。而云計算又是分布式處理、并行計算以及網格計算的發(fā)展和延續(xù)，并發(fā)與分布是云計算的關鍵技術，海量數據處理和海量計算

2、是云計算的優(yōu)勢。在文本挖掘領域中，同樣面臨著海量數據處理的問題，所以把云計算與文本挖掘結合起來處理海量文本數據是十分有意義的。
　　本文正是以此為出發(fā)點，首先簡單介紹了文本挖掘、云計算的相關概念和關鍵技術，對Hadoop云計算平臺及MapReduce編程模式進行了詳細說明，著重對中文分詞、新詞識別、最短距離算法進行描述并提出了此三種算法基于Hadoop平臺的MapReduce解決方案。通過搭建Hadoop實驗平臺，編程實現三種改進