基于文本聚類技術(shù)的網(wǎng)絡(luò)輿情分析系統(tǒng)的研究與應(yīng)用.pdf

1、近年來互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，由于網(wǎng)絡(luò)平臺的平等性、開放性和隱蔽性，使得人們更習(xí)慣于利用網(wǎng)絡(luò)平臺表達(dá)自己對社會事件的意見、看法、態(tài)度和情緒等，這既可能對事件發(fā)展產(chǎn)生積極導(dǎo)向，也可能產(chǎn)生負(fù)面、消極的影響。因此對互聯(lián)網(wǎng)輿情信息進(jìn)行有效挖掘，對了解民眾意愿、引導(dǎo)輿論觀點(diǎn)、維護(hù)社會穩(wěn)定有著重要的現(xiàn)實(shí)意義。
　　網(wǎng)絡(luò)輿情分析技術(shù)是面向自然語言的數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘技術(shù)本質(zhì)上就是從大量無規(guī)則的數(shù)據(jù)中挖掘出隱藏的規(guī)律和有意義的信息，相比于傳統(tǒng)的數(shù)

2、據(jù)挖掘技術(shù)，網(wǎng)絡(luò)輿情分析技術(shù)更強(qiáng)調(diào)對于文字的處理，如何將自然語言轉(zhuǎn)換為計(jì)算機(jī)可識別的語言，如何對文本數(shù)據(jù)進(jìn)行語義分析，如何更有效地對文本數(shù)據(jù)進(jìn)行處理，這些都是網(wǎng)絡(luò)輿情分析技術(shù)要解決的問題。
　　本文的主要研究內(nèi)容是文本數(shù)據(jù)挖掘技術(shù)在輿情分析中的實(shí)際應(yīng)用。通過對文本挖掘方法進(jìn)行研究，根據(jù)前人理論，提出一套完整的文本數(shù)據(jù)分析流程，實(shí)現(xiàn)對于自然語言信息的數(shù)據(jù)挖掘。建立輿情分析系統(tǒng)的整體架構(gòu)，設(shè)計(jì)系統(tǒng)功能與數(shù)據(jù)庫結(jié)構(gòu)，最終實(shí)現(xiàn)對網(wǎng)絡(luò)輿情信

3、息的分析與利用。文本挖掘由文本結(jié)構(gòu)化及文本聚類兩部分內(nèi)容組成，主要研究研究文本分詞、文本表示、特征選擇、相似對比較等內(nèi)容。本文選擇中國科學(xué)院的分詞系統(tǒng)(ICTCLAS)對語料進(jìn)行分詞，利用向量空間模型(VSM)進(jìn)行文本表示，采用TFIDF方法對分詞后的語料進(jìn)行特征選擇，采用向量余弦夾角作為計(jì)算文本相似度的算法采用K-means算法進(jìn)行文本聚類，分析K-means算法存在的問題并嘗試對算法進(jìn)行改進(jìn)并予以實(shí)現(xiàn)。
　　根據(jù)以上的研究基礎(chǔ)