信息管理系統(tǒng)日志分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、當(dāng)今社會，互聯(lián)網(wǎng)面臨數(shù)以億計百億次的用戶訪問，同時產(chǎn)生了大量記錄用戶訪問信息的日志文件，這些隱藏著用戶訪問規(guī)律的日志信息是一筆非常珍貴的財富。如何處理這些海量日志數(shù)據(jù)，逐漸成為業(yè)界一大熱門領(lǐng)域。
　　本文在hadoop平臺的基礎(chǔ)上，以信息管理系統(tǒng)日志文件為切入點，基于信息管理系統(tǒng)日志文件的特點、日志分析的業(yè)務(wù)特點，設(shè)計了一種能正確滿足信息管理系統(tǒng)日志分析業(yè)務(wù)需求的軟件架構(gòu)，并闡述了該軟件架構(gòu)的設(shè)計思想，論述了選擇軟件架構(gòu)的理由。該

2、設(shè)計在邏輯與功能上將整個系統(tǒng)設(shè)計為日志采集、日志存儲、日志處理、處理結(jié)果存儲、結(jié)果展示五個部分。在面對海量日志數(shù)據(jù)時，該設(shè)計能較好地滿足業(yè)務(wù)與性能需求，同時具有部件耦合性低，后期維護簡單等優(yōu)點。
　　結(jié)合實際的業(yè)務(wù)需求，以山東大學(xué)研究生管理信息系統(tǒng)為例，本文給出了該軟件結(jié)構(gòu)設(shè)計的具體軟件實施方案與核心代碼實現(xiàn)。在論述系統(tǒng)中日志采集部分的實現(xiàn)方式時，比較了Flume與Scribe的異同，介紹了如何配置Tomcat日志與Flume組件

3、，并給出來具體的配置方案。在講解系統(tǒng)中日志存儲部分的設(shè)計與實現(xiàn)時，論述了選擇HDFS作為存儲方式的理由，并給出了具體實現(xiàn)。在設(shè)計實現(xiàn)系統(tǒng)中日志處理部分時，結(jié)合日志分析的業(yè)務(wù)特點，詳細介紹了MapReduce在該系統(tǒng)中如何實現(xiàn)日志分析，闡述了MapReduce編程模型在處理海量日志文件的優(yōu)勢，比較了Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)之間的異同。同時，根據(jù)業(yè)務(wù)設(shè)計出Hive表結(jié)構(gòu)。在介紹系統(tǒng)中處理結(jié)果存儲部分的實現(xiàn)方式時，展示了MySQL數(shù)據(jù)庫在實現(xiàn)