網(wǎng)絡(luò)輿情文本分類系統(tǒng)研究與開發(fā).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展,新聞評論、微博、論壇的興起,人們越來越傾向于在網(wǎng)絡(luò)上發(fā)表自己的觀點與看法,網(wǎng)絡(luò)輿情也就顯得格外重要。由于網(wǎng)絡(luò)上的信息錯綜復(fù)雜、內(nèi)容形式過于豐富,不利于政府相關(guān)部門收集網(wǎng)絡(luò)輿情。為了方便政府部門查看自己感興趣的輿情信息,需要對輿情文本進行分類。本系統(tǒng)是網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)下的一個子系統(tǒng),旨在對爬蟲抓取到的輿情信息自動進行分類。
　　爬蟲端對于抓取到的輿情信息按照來源不同分為長文本與短文本,其中來源為新聞、博客與論壇

2、主樓的輿情為長文本,來源為微博、論壇回復(fù)的輿情為短文本。目前常用的分類算法在長文本上性能良好,但是在短文本上的分類效果不盡如人意。本文首先研究長文本分類上的相關(guān)算法,然后針對短文本分類的難點,重點對于其進行研究與分析,在已有的技術(shù)上對算法進行改進。研究內(nèi)容主要包括:
　　1.研究了長文本下的特征選擇算法與文本分類算法。根據(jù)實驗結(jié)果,最終確定在本系統(tǒng)中長文本特征選擇算法采用CHI統(tǒng)計,分類算法采用核函數(shù)為RBF的SVM算法。

3、　　2.提出了一種基于特征拓展的短文本分類方法。該方法通過word2vec對特征項進行拓展改善短文本特征稀疏的難點。測試結(jié)果表明,在參數(shù)適當(dāng)?shù)那疤嵯?此算法能明顯改進短文本分類的效果。
　　3.在相關(guān)技術(shù)的基礎(chǔ)之上,詳細設(shè)計并實現(xiàn)了輿情監(jiān)測系統(tǒng)中的文本分類子系統(tǒng),該子系統(tǒng)分為四個功能模塊,分別為預(yù)處理模塊、特征選擇模塊、文本分類模塊與交互功能模塊。其中,預(yù)處理模塊介紹與實現(xiàn)了對文本進行分詞,過濾停用詞以及詞頻統(tǒng)計;特征選擇模塊實現(xiàn)