一種輿情信息預(yù)處理平臺(tái)的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息化的不斷發(fā)展,輿論的傳播方式和傳播速度都發(fā)生了巨大的變化,互聯(lián)網(wǎng)已成為我國(guó)的主要輿論聚集地,并且無(wú)時(shí)不刻的影響著人們的生活。因此通過(guò)網(wǎng)絡(luò)分析研究輿情信息可以了解大眾心態(tài)和民意,對(duì)經(jīng)濟(jì)、社會(huì)、政治的發(fā)展都具有重要的意義。但是網(wǎng)絡(luò)傳播的信息具有數(shù)據(jù)量大、半結(jié)構(gòu)化、異構(gòu)性等特點(diǎn),使得人們?cè)讷@取相關(guān)信息和進(jìn)行研究工作都面臨很大的困難,因此需要建立一種輿情信息預(yù)處理平臺(tái)來(lái)完成互聯(lián)網(wǎng)信息的分析預(yù)處理。
　　 本論文首先對(duì)國(guó)內(nèi)外輿

2、情信息預(yù)處理的相關(guān)技術(shù)進(jìn)行了研究及分析,總結(jié)了它們的優(yōu)缺點(diǎn),深入分析了輿情信息預(yù)處理平臺(tái)的設(shè)計(jì)和技術(shù)實(shí)現(xiàn)等方面的問(wèn)題,然后在現(xiàn)有技術(shù)的基礎(chǔ)之上提出了用于輿情信息預(yù)處理的技術(shù)方案,實(shí)現(xiàn)了將海量網(wǎng)頁(yè)信息進(jìn)行處理分析以及重復(fù)利用的功能。
　　 本文的研究?jī)?nèi)容和主要成果有:深入分析了URL結(jié)構(gòu)的特點(diǎn),采用了URL比較分析的方法對(duì)海量網(wǎng)頁(yè)進(jìn)行處理,完成了對(duì)用戶指定網(wǎng)站的篩選過(guò)濾;提出了對(duì)文檔對(duì)象建模的網(wǎng)頁(yè)信息抽取算法,并且設(shè)計(jì)了基于抽取規(guī)

3、則的文檔對(duì)象匹配模板庫(kù),對(duì)網(wǎng)頁(yè)中的無(wú)關(guān)信息進(jìn)行濾除,并且將提取到的關(guān)鍵信息錄入關(guān)系型數(shù)據(jù)庫(kù),以備日后的分析和使用;提出了基于四字索引分詞詞典的實(shí)現(xiàn)方案,采用最大正向匹配算法對(duì)中文內(nèi)容進(jìn)行掃描切分,較準(zhǔn)確地完成了對(duì)中文信息的分詞處理和詞頻統(tǒng)計(jì)等功能;在對(duì)多線程機(jī)制深入研究的基礎(chǔ)上,提出了利用線程池來(lái)管理多線程的技術(shù)方案,使系統(tǒng)效率得到了較好的改善。通過(guò)實(shí)驗(yàn)驗(yàn)證了本文所提出的信息處理方案,實(shí)驗(yàn)結(jié)果表明,本文設(shè)計(jì)的方案高效可行,有很高的準(zhǔn)確率