網(wǎng)絡(luò)輿情分析中的特征提取研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和發(fā)展，網(wǎng)絡(luò)作為繼傳統(tǒng)媒體之后的第四媒體，其影響已經(jīng)全面而深刻地滲入到了人們的政治、經(jīng)濟(jì)、文化生活等各個(gè)方面。網(wǎng)絡(luò)傳播具有自由性、交互性、開(kāi)放性、虛擬性和隱蔽性等特點(diǎn)，既提供了大量進(jìn)步、健康、有益的提倡性信息，也有不少反動(dòng)、迷信、低級(jí)的誤導(dǎo)性言論，因此對(duì)網(wǎng)絡(luò)輿情進(jìn)行分析和預(yù)警已經(jīng)成為一個(gè)非常重要的現(xiàn)實(shí)需求。 網(wǎng)絡(luò)公共輿情的來(lái)源按交流方式主要分為兩類。一類以BBS為代表，數(shù)據(jù)之間具有明顯的交流關(guān)系，對(duì)BBS的內(nèi)容監(jiān)

2、控可以直接使用文本挖掘的技術(shù)；另一類以公共聊天室為代表，聊天數(shù)據(jù)不具有明顯的交流關(guān)系，對(duì)公共聊天室的內(nèi)容安全監(jiān)控需要構(gòu)建聊天室的社會(huì)網(wǎng)絡(luò)，即發(fā)現(xiàn)用戶之間的交流關(guān)系。而上述兩類場(chǎng)景的監(jiān)控都首先必須對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行特征提取，將數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可以處理的格式，然后才可以使用各種分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行挖掘。 本文以網(wǎng)絡(luò)輿情分析為背景，重點(diǎn)研究面向BBS和公共聊天室兩類代表性數(shù)據(jù)的特征提取問(wèn)題。針對(duì)這兩種數(shù)據(jù)，我們分別設(shè)計(jì)了相應(yīng)的針對(duì)性的特征提

3、取方法：并最終圍繞這兩類數(shù)據(jù)環(huán)境，構(gòu)建了一個(gè)網(wǎng)絡(luò)輿情監(jiān)控原型系統(tǒng)。論文的主要工作包括： 1.設(shè)計(jì)了針對(duì)BBS數(shù)據(jù)的特征提取方法。首先，考慮到帖子標(biāo)題的重要性，修改了經(jīng)典權(quán)重計(jì)算的TF*IDF方法，將帖子標(biāo)題中的單詞權(quán)重加大：其次，鑒于大多數(shù)BBS數(shù)據(jù)具有明顯的短文本特點(diǎn)：關(guān)鍵詞稀疏，信息不完備等，我們根據(jù)帖子之間的回復(fù)關(guān)系構(gòu)建了一棵回復(fù)關(guān)系樹(shù)，在樹(shù)的每條回復(fù)鏈上從上到下和自下而上地進(jìn)行特征的傳遞和權(quán)重的調(diào)整，可以有效改變?cè)瓉?lái)帖子