基于內(nèi)容特征的輿情分析系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)輿情是指在互聯(lián)網(wǎng)上流行的對(duì)社會(huì)問(wèn)題的不同看法，是社會(huì)輿論的一種表現(xiàn)形式，是通過(guò)互聯(lián)網(wǎng)傳播的，公眾對(duì)現(xiàn)實(shí)生活中某些熱點(diǎn)、焦點(diǎn)問(wèn)題所持的有較強(qiáng)影響力、傾向性的言論和觀點(diǎn)。加強(qiáng)網(wǎng)絡(luò)輿情信息工作有利于正確引導(dǎo)社會(huì)輿論，從而不斷維護(hù)社會(huì)穩(wěn)定、和諧，是基層網(wǎng)絡(luò)監(jiān)察在新時(shí)期的復(fù)雜環(huán)境下需要重點(diǎn)應(yīng)對(duì)的工作，從這一點(diǎn)出發(fā)提出了基于內(nèi)容特征的web網(wǎng)絡(luò)輿情系統(tǒng)。
　　論文在分析研究了網(wǎng)絡(luò)輿情處理的信息采集技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)、數(shù)據(jù)挖掘技術(shù)等關(guān)鍵技術(shù)

2、基礎(chǔ)上，面向基層網(wǎng)絡(luò)監(jiān)察的現(xiàn)實(shí)工作需求，設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)，該系統(tǒng)采用DOM樹和改進(jìn)的PageRank模型處理網(wǎng)頁(yè)，為后期的文本處理奠定良好的數(shù)據(jù)基礎(chǔ);在對(duì)輿情發(fā)現(xiàn)分類和聚類技術(shù)分析基礎(chǔ)上，本文提出一個(gè)基于兩層結(jié)構(gòu)分類算法，算法對(duì)特征選擇和權(quán)重的計(jì)算進(jìn)行相應(yīng)的改進(jìn)，經(jīng)過(guò)算法實(shí)驗(yàn)和對(duì)算法特性可以達(dá)到提高算法效率的目的。此外，對(duì)傳統(tǒng)聚類算法改進(jìn)，提出基于分布式的數(shù)據(jù)劃分的分裂式層次聚類算法，并在HADOOP平臺(tái)上實(shí)現(xiàn)基于最大頻繁詞