基于MapReduce的文本挖掘研究.pdf

1、由于互聯(lián)網(wǎng)與通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)逐漸呈現(xiàn)出海量、異構(gòu)、多樣等特性。在互聯(lián)網(wǎng)知識(shí)呈現(xiàn)的形式中，80％的信息是以文本形式存在，而人們?cè)诿鎸?duì)這些海量數(shù)據(jù)時(shí)，嘗嘗陷入“數(shù)據(jù)豐富，知識(shí)匱乏”的尷尬境地。文本挖掘的出現(xiàn)，使得信息雜亂的問題得到了有效改善。文本分類是文本挖掘與信息檢索的重要基礎(chǔ)與研究熱點(diǎn)，近年來隨著研究的廣泛，文本分類在信息檢索、輿情分析、信息過濾和新聞分類等多個(gè)領(lǐng)域取得成功了應(yīng)用。然而，隨著數(shù)據(jù)規(guī)模呈指數(shù)級(jí)的增長，傳統(tǒng)的串行算法

2、難以滿足海量文本數(shù)據(jù)分析處理所要求的計(jì)算空間與能力，這也導(dǎo)致文本分類面臨許多新的問題和挑戰(zhàn)。近年逐步興起的MapReduce計(jì)算模型能夠以簡單易于理解的框架和強(qiáng)大的并行計(jì)算能力解決了海量數(shù)據(jù)處理問題，并且在學(xué)術(shù)界與工業(yè)界也得到了廣泛認(rèn)可與應(yīng)用。
　　本文的研究內(nèi)容主要從文本分類與大數(shù)據(jù)并行處理兩個(gè)方面著手，介紹了文本分類的相關(guān)理論知識(shí)和MapReduce編程模型的相關(guān)技術(shù)，在并行運(yùn)算模型的開源實(shí)現(xiàn) Hadoop平臺(tái)上，提出并實(shí)現(xiàn)了

3、一種簡單、有效的文本分類方法----基于MapReduce的平均樸素貝葉斯文本分類算法。該方法在多項(xiàng)分布假設(shè)下，利用了文本特征的tfidf權(quán)值，較大限度地保存了文本的語義信息。同時(shí)實(shí)驗(yàn)了在不同大小，不同語言的語料庫上的表現(xiàn)情況，并與普通貝葉斯分類在訓(xùn)練時(shí)間、分類性能等方面進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明，由于減小了文本冗余特征信息的影響與并行計(jì)算良好的擴(kuò)展性，該方法適用于處理大數(shù)據(jù)集，尤其是在傳統(tǒng)串行算法無法處理的情況下；針對(duì)不同語言的數(shù)據(jù)集，