網(wǎng)絡輿情分析中的特征提取研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和發(fā)展，網(wǎng)絡作為繼傳統(tǒng)媒體之后的第四媒體，其影響已經(jīng)全面而深刻地滲入到了人們的政治、經(jīng)濟、文化生活等各個方面。網(wǎng)絡傳播具有自由性、交互性、開放性、虛擬性和隱蔽性等特點，既提供了大量進步、健康、有益的提倡性信息，也有不少反動、迷信、低級的誤導性言論，因此對網(wǎng)絡輿情進行分析和預警已經(jīng)成為一個非常重要的現(xiàn)實需求。 網(wǎng)絡公共輿情的來源按交流方式主要分為兩類。一類以BBS為代表，數(shù)據(jù)之間具有明顯的交流關系，對BBS的內容監(jiān)

2、控可以直接使用文本挖掘的技術；另一類以公共聊天室為代表，聊天數(shù)據(jù)不具有明顯的交流關系，對公共聊天室的內容安全監(jiān)控需要構建聊天室的社會網(wǎng)絡，即發(fā)現(xiàn)用戶之間的交流關系。而上述兩類場景的監(jiān)控都首先必須對網(wǎng)絡數(shù)據(jù)進行特征提取，將數(shù)據(jù)轉化為計算機可以處理的格式，然后才可以使用各種分析技術對數(shù)據(jù)進行挖掘。 本文以網(wǎng)絡輿情分析為背景，重點研究面向BBS和公共聊天室兩類代表性數(shù)據(jù)的特征提取問題。針對這兩種數(shù)據(jù)，我們分別設計了相應的針對性的特征提

3、取方法：并最終圍繞這兩類數(shù)據(jù)環(huán)境，構建了一個網(wǎng)絡輿情監(jiān)控原型系統(tǒng)。論文的主要工作包括： 1.設計了針對BBS數(shù)據(jù)的特征提取方法。首先，考慮到帖子標題的重要性，修改了經(jīng)典權重計算的TF*IDF方法，將帖子標題中的單詞權重加大：其次，鑒于大多數(shù)BBS數(shù)據(jù)具有明顯的短文本特點：關鍵詞稀疏，信息不完備等，我們根據(jù)帖子之間的回復關系構建了一棵回復關系樹，在樹的每條回復鏈上從上到下和自下而上地進行特征的傳遞和權重的調整，可以有效改變原來帖子