基于數(shù)據(jù)挖掘在社交網(wǎng)絡(luò)中熱點(diǎn)話題的研究.pdf

1、隨著信息技術(shù)的高速發(fā)展以及互聯(lián)網(wǎng)的普及，社交網(wǎng)絡(luò)已經(jīng)成為人們生活中不可或缺的一部分，作為一種新興的社交平臺(tái)，社交網(wǎng)絡(luò)正在逐漸改變?nèi)藗兊慕涣髁?xí)慣。在社交網(wǎng)絡(luò)用戶數(shù)與信息量不斷擴(kuò)大的同時(shí)，如何在海量信息中快速而準(zhǔn)確地挖掘出用戶關(guān)注的熱點(diǎn)話題，已經(jīng)成為當(dāng)今一個(gè)熱門的研究方向。
　　熱點(diǎn)話題發(fā)現(xiàn)是通過(guò)運(yùn)用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘等相關(guān)技術(shù)，利用社交網(wǎng)絡(luò)中用戶發(fā)表的言論對(duì)話題進(jìn)行挖掘，最終向用戶呈現(xiàn)如新浪微博展示的一個(gè)熱門話題排行榜。
　　

2、與傳統(tǒng)互聯(lián)網(wǎng)媒體相比，當(dāng)前社交網(wǎng)絡(luò)消息文本具有高維性、稀疏性、主題分布不均勻性、網(wǎng)絡(luò)用語(yǔ)不規(guī)范等特點(diǎn)，且信息量呈爆炸式增長(zhǎng)，導(dǎo)致傳統(tǒng)的話題發(fā)現(xiàn)技術(shù)直接應(yīng)用在社交網(wǎng)絡(luò)中在準(zhǔn)確度與效率方面都存在巨大問(wèn)題。本文通過(guò)分析比較各種算法的優(yōu)缺點(diǎn)進(jìn)而選用樸素貝葉斯分類算法與單遍聚類(Single-pass)算法作為話題發(fā)現(xiàn)的算法，并對(duì)算法進(jìn)行深入的研究分析其存在的問(wèn)題，分別對(duì)其進(jìn)行改進(jìn)。本文主要的研究工作有以下幾個(gè)方面：
　　（1）深入研究當(dāng)前

3、社交網(wǎng)絡(luò)中消息文本的特點(diǎn)，詳細(xì)闡述了話題發(fā)現(xiàn)的基本流程，分析并比較話題發(fā)現(xiàn)過(guò)程中的相關(guān)算法，設(shè)計(jì)并實(shí)現(xiàn)一種自動(dòng)獲取實(shí)驗(yàn)數(shù)據(jù)的方式。針對(duì)當(dāng)前社交網(wǎng)絡(luò)的特點(diǎn)分析目前話題發(fā)現(xiàn)技術(shù)存在的問(wèn)題，進(jìn)而提出一種先分類后聚類的方式挖掘熱點(diǎn)話題。
　　（2）針對(duì)當(dāng)前社交網(wǎng)絡(luò)特點(diǎn)，樸素貝葉斯分類算法進(jìn)行分類時(shí)準(zhǔn)確度與速度方面都存在問(wèn)題，本文引入方差過(guò)濾對(duì)其進(jìn)行改進(jìn)，將改進(jìn)后的樸素貝葉斯分類算法結(jié)合Hadoop平臺(tái)形成并行的分類，從而達(dá)到提高分類的準(zhǔn)確