互聯(lián)網(wǎng)輿情信息挖掘與群體行為分析.pdf

1、隨著互聯(lián)網(wǎng)的普及,國(guó)內(nèi)互聯(lián)網(wǎng)用戶的不斷增多,網(wǎng)絡(luò)輿情逐漸滲透社會(huì)、經(jīng)濟(jì)、政治各個(gè)層面,網(wǎng)絡(luò)虛擬群體業(yè)已成為推動(dòng)互聯(lián)網(wǎng)輿情發(fā)展不可忽視的力量。因此,基于互聯(lián)網(wǎng)的輿情信息挖掘技術(shù)和網(wǎng)絡(luò)群體行為研究越來(lái)越受到廣泛關(guān)注。輿情是指一定時(shí)期內(nèi)一定范圍內(nèi)的社會(huì)群體對(duì)某些社會(huì)現(xiàn)象和現(xiàn)實(shí)的主觀反映?；ヂ?lián)網(wǎng)輿情信息挖掘技術(shù)作為輿情主題檢測(cè)的有效手段逐漸成為研究熱點(diǎn)。然而,現(xiàn)有的互聯(lián)網(wǎng)輿情信息挖掘技術(shù)在處理海量網(wǎng)絡(luò)信息時(shí)曝露出很多問(wèn)題,在網(wǎng)絡(luò)群體行為分析方面

2、研究尚不成熟,因此亟需在互聯(lián)網(wǎng)輿情信息挖掘和群體行為分析的理論體系和技術(shù)方法上實(shí)現(xiàn)突破。
　　 本文利用網(wǎng)絡(luò)信息挖掘的方法分析了互聯(lián)網(wǎng)輿情信息挖掘的流程,針對(duì)網(wǎng)絡(luò)輿情產(chǎn)生、傳播的特點(diǎn),對(duì)傳統(tǒng)網(wǎng)絡(luò)信息抓取和預(yù)處理技術(shù)進(jìn)行了改進(jìn)。此外根據(jù)輿情主題檢測(cè)的特點(diǎn)和要求對(duì)傳統(tǒng)的文本聚類算法進(jìn)行了改進(jìn)。基于社會(huì)網(wǎng)絡(luò)分析方法對(duì)網(wǎng)絡(luò)輿情群體的組織結(jié)構(gòu)和行為規(guī)律進(jìn)行了分析,并以博客圈子和論壇小組為例進(jìn)行了拓?fù)浞治龊椭行亩确治?總結(jié)出了這兩種典型網(wǎng)絡(luò)

3、群體的結(jié)構(gòu)和行為。最后,本文基于上述研究,進(jìn)行了互聯(lián)網(wǎng)輿情監(jiān)控原型系統(tǒng)的架構(gòu)和功能設(shè)計(jì)。主要研究?jī)?nèi)容如下:
　　 網(wǎng)絡(luò)信息抓取和預(yù)處理技術(shù)研究:在網(wǎng)絡(luò)信息抓取階段,結(jié)合互聯(lián)網(wǎng)輿情信息實(shí)時(shí)更新,傳播速度快的特點(diǎn),本文設(shè)計(jì)了并發(fā)式增量式網(wǎng)絡(luò)爬蟲以滿足網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對(duì)不同網(wǎng)頁(yè)來(lái)源的數(shù)據(jù)進(jìn)行采集的需求,同時(shí)也解決了大規(guī)模網(wǎng)頁(yè)爬行的效率問(wèn)題。在信息預(yù)處理階段,針對(duì)新聞和博客網(wǎng)頁(yè)、BBS網(wǎng)頁(yè)結(jié)構(gòu)不同的特點(diǎn)采用了不同的凈化技術(shù),采用HTML

4、 Parser提取新聞和博客網(wǎng)頁(yè)正文,根據(jù)BBS網(wǎng)頁(yè)高度結(jié)構(gòu)化的特點(diǎn)設(shè)計(jì)了基于DOM樹(shù)和模板的BBS結(jié)構(gòu)化信息提取,最終獲得了可用于文本聚類的純文本文檔。
　　 互聯(lián)網(wǎng)輿情信息挖掘算法,即文本聚類算法研究:本文改進(jìn)了傳統(tǒng)的TF-IDF公式,可以對(duì)網(wǎng)絡(luò)信息形成的動(dòng)態(tài)文本流進(jìn)行特征提取,并考慮了網(wǎng)絡(luò)新興詞匯對(duì)特征提取的影響,給新詞賦予適當(dāng)?shù)臋?quán)重提高了增量TF-IDF模型的質(zhì)量。在文本聚類階段,在進(jìn)行文本相似度分析時(shí)加入“時(shí)間窗”的概

5、念,大大提高了Single-pass增量聚類算法的效率,同時(shí)也降低了聚類算法對(duì)內(nèi)存的消耗。
　　 基于社會(huì)網(wǎng)絡(luò)分析的網(wǎng)絡(luò)輿情群體行為研究:本文使用社會(huì)網(wǎng)絡(luò)分析技術(shù)對(duì)基于某一輿情主題而聚集起來(lái)的輿情群體進(jìn)行組織結(jié)構(gòu)分析和行為監(jiān)控,對(duì)網(wǎng)絡(luò)群體和虛擬組織進(jìn)行了拓?fù)浞治?、中心度分析和群體分析,并使用可視化社會(huì)網(wǎng)絡(luò)工具繪制輿情群體網(wǎng)絡(luò)圖,將輿情群體的行為演變規(guī)律直觀的展示給用戶。
　　 在上述研究基礎(chǔ)上,本文設(shè)計(jì)了互聯(lián)網(wǎng)輿情監(jiān)控原