PB級日志的數據分析的設計與應用.pdf

1、在企業(yè)公司的業(yè)務決策中，數據分析一直扮演著及其關鍵的作用。按照具體工作邏輯進行數據的分析，可以從繁多的數據中抓取到自己想要的數據。但是隨著進入大數據的時代，日志的數據量越來越龐大，傳統(tǒng)的數據分析效率變得越來越低。隨著Hadoop等大數據分析框架的發(fā)展，使用Hadoop作為工具分析公司的業(yè)務日志，抓取分析數據，顯得越來越重要。數據量變多，一方面是記錄的條數越來越多，一方面是每一條記錄的內容也變得越來多。通過分析大數據，可以得到更精準的業(yè)務

2、指標。如何高效高準確的建立基于日志的數據分析顯得越來越重要?；赑B級日志的數據分析主要進行以下內容進行研究：
　?。?）針對大數據介紹了數據的序列化，HDFS，RCFile以及MapReduce等相關的理論知識，對Google ProtoBuf，MapReduce,RCFile進行的詳細的說明。
　　（2）就數據分析使用的兩種框架進行闡述，重點論述了兩種框架對應的MapReduce程序的設計。之后通過論述基于MapRedu

3、ce的數據分析的五個步驟，使用分模塊方式將數據分析過程模塊化，以及運行自動化及備份做闡述。
　?。?）使用2個例子分別對應2種設計框架，詳細說明了實際工作中數據分析的整個過程。最后進行了性能的時間分析對比時間，使用圖表直觀展現實驗結果。
　　基于PB日志的數據分析系統(tǒng)已經在公司運行，在實際工作中，對于相關廣告業(yè)務的實驗，策略起到了強有力的支撐工作。使用列存儲保存日志MapReduce程序運行時間節(jié)約50％以上，性能優(yōu)化明顯。