面向商業(yè)輿情分析的大規(guī)模數據處理架構優(yōu)化設計研究.pdf

1、隨著大數據時代的到來，人類社會也正從IT走向DT時代，不斷積累的數據所帶來的價值已經遠遠超過了我們的想象，當然，數據帶來價值的同時，也同樣帶來了一些負面的東西，比如說隱私泄露，網絡暴力等等。如何更好的去善用這些數據，并且去做一些有意義的事情，這考驗著每一個從事大數據分析相關工作的人。在商業(yè)信息領域，很多專家學者在商業(yè)的輿情數據分析方面做了很多有意義的工作，主要是基于Hadoop計算框架，利用文本聚類等技術進行商業(yè)輿情信息的挖掘以及輿情話

2、題的檢測與傾向判斷，但在輿情實時性處理，動態(tài)追蹤，趨勢預測等方面較國外還有很大的差距，這也成了輿情信息發(fā)展重點研究方向。
　　本文首先是在研究分析主流輿情分析系統的基礎上，對商業(yè)輿情分析系統的關鍵需求進行了整理和總結，對功能性的需求做了詳細的闡述，并大體介紹了非功能性需求的設計要求，之后專門針對商業(yè)輿情領域的需求做了一定的優(yōu)化處理并提出了一種面向商業(yè)輿情分析的平臺架構。
　　其次，結合每個模塊關鍵需求，提出了適合本商業(yè)輿情分

3、析的主要技術架構，從數據采集模塊，數據預處理模塊到業(yè)務分析以及整個Web應用層，對平臺的每一個環(huán)節(jié)擬采用的具體技術框架以及底層存儲做了具體的設計與闡述，并在話題文本聚類和基于Spark的緩存優(yōu)化方面也提出了自己的改進算法。
　　最后，基于上述架構設計進行本地環(huán)境的集群搭建，結合開放的微博API接口以及WebMagic網絡爬蟲技術對網頁站點，論壇博客等內容進行爬取，利用NLPIR分詞工具對文本數據進行分詞處理，以及利用K-means

4、算法進行話題聚類處理和針對不同類型文本進行差異化的輿情情感分析，并對改進的K-means優(yōu)化算法以及ASRW算法進行了仿真測試和結果分析。
　　本文在數據處理方面依然主要是基于Hadoop技術架構進行展開，但在實時性，流數據處理上則采用了基于內存計算的開源框架Spark，這也是當前比較主流的一種大數據處理模型，可以對MapReduce取長補短，同時具有更好的容錯性，使用Hadoop和Spark兩種技術的結合對商業(yè)輿情分析平臺的開發(fā)