信息管理系統(tǒng)日志分析系統(tǒng)的設計與實現(xiàn).pdf

1、當今社會，互聯(lián)網(wǎng)面臨數(shù)以億計百億次的用戶訪問，同時產(chǎn)生了大量記錄用戶訪問信息的日志文件，這些隱藏著用戶訪問規(guī)律的日志信息是一筆非常珍貴的財富。如何處理這些海量日志數(shù)據(jù)，逐漸成為業(yè)界一大熱門領域。
　　本文在hadoop平臺的基礎上，以信息管理系統(tǒng)日志文件為切入點，基于信息管理系統(tǒng)日志文件的特點、日志分析的業(yè)務特點，設計了一種能正確滿足信息管理系統(tǒng)日志分析業(yè)務需求的軟件架構，并闡述了該軟件架構的設計思想，論述了選擇軟件架構的理由。該

2、設計在邏輯與功能上將整個系統(tǒng)設計為日志采集、日志存儲、日志處理、處理結果存儲、結果展示五個部分。在面對海量日志數(shù)據(jù)時，該設計能較好地滿足業(yè)務與性能需求，同時具有部件耦合性低，后期維護簡單等優(yōu)點。
　　結合實際的業(yè)務需求，以山東大學研究生管理信息系統(tǒng)為例，本文給出了該軟件結構設計的具體軟件實施方案與核心代碼實現(xiàn)。在論述系統(tǒng)中日志采集部分的實現(xiàn)方式時，比較了Flume與Scribe的異同，介紹了如何配置Tomcat日志與Flume組件

3、，并給出來具體的配置方案。在講解系統(tǒng)中日志存儲部分的設計與實現(xiàn)時，論述了選擇HDFS作為存儲方式的理由，并給出了具體實現(xiàn)。在設計實現(xiàn)系統(tǒng)中日志處理部分時，結合日志分析的業(yè)務特點，詳細介紹了MapReduce在該系統(tǒng)中如何實現(xiàn)日志分析，闡述了MapReduce編程模型在處理海量日志文件的優(yōu)勢，比較了Hive與傳統(tǒng)關系型數(shù)據(jù)之間的異同。同時，根據(jù)業(yè)務設計出Hive表結構。在介紹系統(tǒng)中處理結果存儲部分的實現(xiàn)方式時，展示了MySQL數(shù)據(jù)庫在實現(xiàn)