日志大數據分析平臺技術研究.pdf

1、互聯(lián)網發(fā)展趨勢日益變快，由互聯(lián)網產生的日志數據也隨之快速增長。網絡日志具有海量、多樣、異構、動態(tài)變化等特點，如何及時有效的處理日志大數據成為互聯(lián)網公司面臨的巨大課題。面對日志大數據，傳統(tǒng)單一節(jié)點的集中式處理方式已無法應對。對于互聯(lián)網公司來說，對于日志分析的需求是不斷增長和變化的，日志的分析過程要求快速性和周期性，日志分析工程師往往被不斷增長和變化的需求困擾，需要投入大量的時間成本和人力成本來跟進。
　　本文研究和分析了分布式存儲、

2、計算和調度，梳理了日志大數據分析的流程，利用Hadoop和Hive搭建了日志大數據分析平臺，將日志大數據的分析流程化和平臺化。本文提出了一種適合日志大數據處理的流程，包括日志的采集、預處理、存儲以及面向業(yè)務場景的分析四個步驟。采集過程負責將分散在各個服務器中的日志采集在一起，方便統(tǒng)一管理和使用。預處理過程負責將非格式化的日志進行清洗和轉換，方便后續(xù)分析使用。存儲時采用HDFS和Hive。面向業(yè)務場景的分析建立在前面三步的基礎上，對Hiv

3、e中的日志數據進行分析。
　　日志大數據分析平臺將日志的采集流程、預處理流程以及分析流程進行了建模，抽象出采集任務、預處理任務以及分析任務，并對平臺用戶開放任務配置接口。用戶使用日志大數據分析平臺的方式是通過簡單配置三種任務，然后交給平臺去運行，最后在平臺中獲得結果，用戶不需要關心平臺是怎么實現(xiàn)具體的采集過程、預處理以及分析過程。為了高效的調度和執(zhí)行用戶提交的任務，本文實現(xiàn)了任務調度執(zhí)行引擎，引擎采用master-slave架構模