基于Hadoop的海量視頻日志分析系統(tǒng)設計.pdf

1、2011年，隨著國內(nèi)互聯(lián)網(wǎng)帶寬的提升和視頻用戶普及率的大幅增加，視頻行業(yè)獲得了大量投資者的介入，迎來了一個爆炸式的增長。2012年是視頻行業(yè)發(fā)展的一個轉(zhuǎn)折點，如何能夠在激烈的競爭中扭虧為盈是每家視頻企業(yè)的核心指標。在這個基礎上，企業(yè)對于自身核心數(shù)據(jù)的挖掘分析的需求也日益嚴苛。
　　本文通過對一家大型視頻企業(yè)數(shù)據(jù)平臺架構的分析，發(fā)現(xiàn)現(xiàn)有平臺存在的一些問題以及系統(tǒng)瓶頸。為了解決發(fā)現(xiàn)的這些問題，從兩個方面出發(fā)，一方面對國內(nèi)知名的三家企業(yè)

2、的數(shù)據(jù)平臺架構進行了研究，分析了這三家企業(yè)的架構的特點及創(chuàng)新部分，另外一方面從不同工作人員的角度獲取他們對于數(shù)據(jù)平臺的需求，本文設計了一套基于hadoop開源軟件的日志分析系統(tǒng)，該系統(tǒng)具有高可用架構，并且具備日志清洗，流式日志收集和分析等功能模塊。本文詳細的描述了這一系統(tǒng)中不同模塊所使用的開源解決方案及其配置，并且對部分模塊中的技術難點提出了解決方案。最終，對于這套設計方案的整體設計理念進行了總結(jié)，并且指出了其中的一些不足，并對系統(tǒng)未來