基于Hadoop的警用輿情分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著經(jīng)濟社會的發(fā)展以及互聯(lián)網(wǎng)的普及，尤其是移動互聯(lián)網(wǎng)用戶的快速增長，人們的生活越來越離不開網(wǎng)絡，從網(wǎng)上購物，獲取資訊，發(fā)布個人對某些事件的意見和看法都變得越來越方便。同時，網(wǎng)絡信息的呈現(xiàn)方式也越來越多樣化，從電子郵件，門戶網(wǎng)站，BBS論壇到現(xiàn)在的博客，社區(qū)，即時通訊以及SNS社交網(wǎng)絡等，都極大的豐富了網(wǎng)絡用戶參與互動的方式。廣大網(wǎng)民通過互聯(lián)網(wǎng)發(fā)布個人對某些公共事務的看法以及對其持有的情緒的總和被稱為網(wǎng)絡輿情。由于網(wǎng)絡輿情的特點，在熱點問

2、題上會引發(fā)廣泛的社會影響，特別是負面的影響，如果不能合理的引導，負面的輿論極大威脅著社會公共秩序和社會安全穩(wěn)定。作為社會穩(wěn)定和安全的捍衛(wèi)者，增強網(wǎng)絡輿論的實時監(jiān)測能力，及時對負面輿情進行有效的引導，積極化解網(wǎng)絡的負面輿論信息，已經(jīng)成為公安機關的重要工作之一。
　　上述工作在傳統(tǒng)的輿情監(jiān)控軟件已經(jīng)可以實現(xiàn)，然而由于互聯(lián)網(wǎng)存儲著規(guī)模碩大的海量信息，傳統(tǒng)的輿情監(jiān)控系統(tǒng)已經(jīng)不足以準確、快速的實現(xiàn)對輿情的實時監(jiān)控。衡量輿情系統(tǒng)性能的一個重要

3、指標就是處理輿情信息的實時性。為了實現(xiàn)輿情的實時監(jiān)控，本課題將Hadoop關鍵技術引入到警用輿情分析系統(tǒng)中，以互聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)為基礎，結(jié)合Hadoop的關鍵技術特性，設計并實現(xiàn)了基于Hadoop的警用輿情分析系統(tǒng)，利用Hadoop分布式海量數(shù)據(jù)處理性能，實現(xiàn)高性能的海量數(shù)據(jù)挖掘，幫助警務部門實現(xiàn)對網(wǎng)絡輿情的實時監(jiān)控，維護社會的安定。
　　本文從公安機關的工作需求入手，詳細分析了公安網(wǎng)絡管理工作的運行模式，利用社會網(wǎng)絡分析技術，對互聯(lián)

4、網(wǎng)數(shù)據(jù)進行挖掘分析。本文的主要包括如下三部分：
　　1）分布式網(wǎng)絡數(shù)據(jù)爬蟲，詳細講述了該爬蟲系統(tǒng)的構(gòu)建方式，模塊功能，實現(xiàn)方法等。該網(wǎng)絡爬蟲系統(tǒng)基于多網(wǎng)關出口，能有效解決網(wǎng)站對爬蟲的屏蔽，提高了爬蟲的時間效率和應用效率，解決系統(tǒng)的數(shù)據(jù)來源問題；
　　2）Hadoop輿情分布式文件系統(tǒng)，作為警用輿情分析系統(tǒng)的存儲結(jié)構(gòu)，將采集來的數(shù)據(jù)存入該文件系統(tǒng)中，將這些數(shù)據(jù)進行信息抽取，網(wǎng)頁去重，并結(jié)合Lucene和Solr對網(wǎng)頁建立相關索