基于Hadoop的微博熱點(diǎn)話題情感分類系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，社交網(wǎng)絡(luò)逐漸成為一種快速便捷的信息分享和交互平臺。作為當(dāng)前國內(nèi)社交網(wǎng)絡(luò)巨頭之一，新浪微博熱門話題的討論提升了微博用戶的參與感和活躍程度，形成了一個和用戶關(guān)系密切相關(guān)的傳播網(wǎng)絡(luò)，這個網(wǎng)絡(luò)在一定程度上反映了微博信息的傳播方式和情感傾向。因此，對該網(wǎng)絡(luò)的調(diào)研和對某話題的情感分類是一個很有意義的研究課題。然而，由于數(shù)據(jù)量巨大，分析處理通常需要較長的時間開銷，現(xiàn)有傳統(tǒng)技術(shù)和方法難以有效完成大規(guī)模微博數(shù)據(jù)的處理，而本文討論

2、的Hadoop平臺可以為大規(guī)模微博數(shù)據(jù)處理提供有效的技術(shù)手段，實(shí)現(xiàn)較快的微博熱點(diǎn)話題情感分類。
　　首先，本文對Hadoop平臺及其兩大核心組件MapReduce并行計(jì)算框架和HDFS分布式文件存儲系統(tǒng)予以研究討論，并闡述了樸素貝葉斯分類算法的原理和工作流程。在計(jì)算特征詞的概率矩陣時，經(jīng)典的TFIDF方法將數(shù)據(jù)集作為一個整體來考慮，影響了情感分類結(jié)果。故本文中研究了訓(xùn)練集中的數(shù)據(jù)在類中和類間的分布偏差，提出了針對TFIDF的改進(jìn)方

3、案，給出樸素貝葉斯分類并行化的總體流程以及具體算法。其次，為觀察集群負(fù)載能力和改進(jìn)算法的分類準(zhǔn)確率情況，文中使用測試數(shù)據(jù)集設(shè)計(jì)多組實(shí)驗(yàn)對其進(jìn)行情感分類，在分類過程中的不同階段分別觀察了系統(tǒng)各節(jié)點(diǎn)在不同數(shù)據(jù)集情況下的負(fù)載能力，證實(shí)了Hadoop集群處理大數(shù)據(jù)的可擴(kuò)展性和優(yōu)越性。同時也測試了貝葉斯分類器并行化之后的準(zhǔn)確性，實(shí)驗(yàn)表明，改進(jìn)后的貝葉斯分類器分類準(zhǔn)確率相比較經(jīng)典樸素貝葉斯分類器有明顯改善，且在一定范圍內(nèi)，隨著數(shù)據(jù)集容量的不斷增大，