基于主題模型的輿情分析子系統(tǒng)研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)用戶的不斷增長，人們開始習(xí)慣于在網(wǎng)上對熱點(diǎn)事件發(fā)表自己的看法和態(tài)度。然而，某些網(wǎng)民對敏感事件發(fā)表不實(shí)言論，或者借機(jī)煽動(dòng)人們的不滿情緒，這些行為都會對社會的穩(wěn)定造成威脅。因而，各級政府和有關(guān)部門已經(jīng)開始使用網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)應(yīng)對這一問題。
　　現(xiàn)有的輿情監(jiān)測系統(tǒng)多采用基于統(tǒng)計(jì)和關(guān)鍵詞的方法，在詞語層面進(jìn)行分析，為了保證分析速度，需要進(jìn)行特征提取以降低文本向量的維度，而這樣做會損失大量的特征和語義信息，導(dǎo)致結(jié)果的不準(zhǔn)確。本文針

2、對上述問題，嘗試將主題模型引入輿情監(jiān)測領(lǐng)域，用于代替空間向量模型中的詞語特征。相比傳統(tǒng)系統(tǒng)，使用主題模型可以在提升分類、輿情判決等算法的準(zhǔn)確度的前提下，進(jìn)一步減少特征矩陣的維度，同時(shí)可以利用文本的主題表示生成關(guān)鍵詞、摘要等輔助信息。本文主要內(nèi)容為：
　　1．研究了常見分類算法在主題模型下的性能，并根據(jù)實(shí)驗(yàn)結(jié)果提出了一種基于主題特征和SVM的細(xì)粒度文本分類方法，測試結(jié)果表明，在模型參數(shù)適當(dāng)?shù)那疤嵯?，對于長文本，該方法可以在減少99％

3、特征的情況下保持較好的分類性能，并能為輿情決策提供重要參考標(biāo)準(zhǔn)。
　　2．提出了一種針對單頁面輿情的判決模型，該模型以主題特征為核心，綜合詞語、行文風(fēng)格、作者等傳統(tǒng)特征，能對不同類別的頁面進(jìn)行輿情判決，并通過決策樹實(shí)驗(yàn)證明了該模型的有效性。
　　3．提出了一種基于主題特征的關(guān)鍵字和最短摘要提取算法。該算法使用已訓(xùn)練模型作為“相關(guān)領(lǐng)域信息”，可以提取單個(gè)文本的關(guān)鍵詞和摘要。
　　4．詳細(xì)設(shè)計(jì)并實(shí)現(xiàn)了輿情監(jiān)測系統(tǒng)中的分析子