基于Hadoop的上市公司輿情挖掘系統(tǒng)的研究與實現(xiàn).pdf

1、近年來，互聯(lián)網(wǎng)的高速發(fā)展和快速普及，使得越來越多的用戶在網(wǎng)上發(fā)表自己的言論與看法。網(wǎng)絡(luò)信息的載體也越來越多樣化，從早期的電子郵件、門戶新聞、BBS論壇到現(xiàn)在的博客、微博、社區(qū)、即時通訊等等方式，網(wǎng)民可以充分利用這些網(wǎng)絡(luò)資源，瀏覽新聞、發(fā)表評論、轉(zhuǎn)發(fā)他人意見，導(dǎo)致網(wǎng)絡(luò)輿情的發(fā)展和傳播不可控制。對于上市公司而言，危機網(wǎng)絡(luò)輿情對其的影響越來越嚴重。一旦企業(yè)發(fā)生了突發(fā)事件，不僅在傳統(tǒng)媒體上進行傳播，在互聯(lián)網(wǎng)上更會以幾何倍數(shù)的蔓延開來。企業(yè)需要監(jiān)

2、控網(wǎng)絡(luò)輿情，需要知道危機輿情的發(fā)展態(tài)勢，需要掌握在互聯(lián)網(wǎng)上企業(yè)的形象和名譽，這與企業(yè)的經(jīng)濟效益和社會地位是直接相關(guān)的。
　　傳統(tǒng)的輿情監(jiān)控系統(tǒng)軟件可以實現(xiàn)上述目的，但現(xiàn)在網(wǎng)絡(luò)資源已是海量數(shù)據(jù)，對于這種大數(shù)據(jù)的處理，傳統(tǒng)的方式顯得力不從心，效率低下，難以達到實時監(jiān)控。本課題研究開發(fā)的基于Hadoop的上市公司輿情挖掘系統(tǒng)，利用Hadoop的分布式海量數(shù)據(jù)處理性能，可以有效解決這一難題，實現(xiàn)高性能的海量數(shù)據(jù)挖掘，幫助上市公司監(jiān)控網(wǎng)絡(luò)危

3、機輿情。
　　本系統(tǒng)從數(shù)據(jù)采集、數(shù)據(jù)挖掘、數(shù)據(jù)存儲和數(shù)據(jù)展示4個方面，提供一體化輿情挖掘流程。主要工作如下：
　　（1）利用eTools元搜索工具和Nutch爬蟲對網(wǎng)絡(luò)資源進行抓??；
　　（2）使用jsoup、Tika等工具對網(wǎng)頁內(nèi)容進行提??；
　　（3）整合Lucene和Solr對網(wǎng)頁建立索引，提供搜索功能；
　?。?）結(jié)合Hadoop框架和Mahout算法庫對海量數(shù)據(jù)進行挖掘和機器學(xué)習(xí)，基于聚類和分類的