社交媒體大數(shù)據(jù)的樸素貝葉斯分類方法研究.pdf

1、社交媒體大數(shù)據(jù)分類對(duì)于熱點(diǎn)新聞事件的發(fā)現(xiàn)、個(gè)性化推薦、輿情監(jiān)控及垃圾信息過濾、品牌提升等方面都有重要的實(shí)用價(jià)值。大部分社交媒體以文本為主，即使是圖像、視頻、音頻等多媒體社交數(shù)據(jù)，也有相應(yīng)的文本標(biāo)記或通過多媒體信息檢索得到相應(yīng)的文本描述，因此，本文主要對(duì)文本型社交媒體大數(shù)據(jù)的分類方法展開研究，并對(duì)伯努利型和多項(xiàng)式型樸素貝葉斯文本分類方法進(jìn)行了相應(yīng)的改進(jìn)。
　　首先，介紹文本型社交媒體大數(shù)據(jù)分類的基本原理和相關(guān)技術(shù)，包括社交媒體大數(shù)據(jù)

2、中的文本信息表示方法、樸素貝葉斯分類過程和分類器的基本結(jié)構(gòu)、特征選擇方法和Hadoop平臺(tái)等，并從貝葉斯公式出發(fā)，對(duì)樸素貝葉斯文本分類的原理進(jìn)行了詳細(xì)的分析。
　　其次，針對(duì)特征項(xiàng)服從伯努利概率模型的社交媒體大數(shù)據(jù)樸素貝葉斯分類，在分析樸素貝葉斯文本分類原理的基礎(chǔ)上，提出了通過特征項(xiàng)規(guī)范化處理、讓“正方”特征項(xiàng)參與運(yùn)算、調(diào)整平滑參數(shù)的方式對(duì)其進(jìn)行改進(jìn)的方法。改進(jìn)后的伯努利型樸素貝葉斯分類方法的分類速度有了較大提高，并且在樣本不均勻

3、情況下分類性能也有所提高。
　　最后，針對(duì)特征項(xiàng)服從多項(xiàng)式概率模型的社交媒體大數(shù)據(jù)樸素貝葉斯分類，在TF-IDF算法中，通過引入IDF對(duì)數(shù)函數(shù)自變量的系數(shù)，給有益于分類的特征項(xiàng)賦予更高的權(quán)重，并歸一化特征項(xiàng)權(quán)重，對(duì)多項(xiàng)式型樸素貝葉斯分類方法進(jìn)行改進(jìn)。在MapReduce框架下，根據(jù)樸素貝葉斯分類過程和相關(guān)計(jì)算公式，對(duì)改進(jìn)的多項(xiàng)式型樸素貝葉斯分類方法進(jìn)行了并行化實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的并行化多項(xiàng)式型樸素貝葉斯分類方法是有效的，