基于Storm實時日志分析存儲系統(tǒng)的設計與實現(xiàn).pdf

1、目前，很多互聯(lián)網公司需要對數(shù)據信息進行實時計算處理，其中包括實時的風控管理，實時的輿情監(jiān)控，實時的個性化推薦等，這些應用的數(shù)據多數(shù)來自系統(tǒng)產生的日志信息，因此日志信息的處理對公司業(yè)務十分重要。根據企業(yè)對日志實時處理的要求，本文設計并實現(xiàn)了一個基于Storm日志實時分析存儲的系統(tǒng)。
　　本文介紹了日志實時分析的研究意義，開發(fā)過程中涉及到的相關技術，設計了系統(tǒng)的整體架構和功能模塊。本文的重點主要是實時日志分析的后端架構。架構中，使用分

2、布式的Flume組件來監(jiān)控多個不同日志文件，日志信息通過Memory Channel發(fā)送到Kafka的Sink上。在日志的收集模塊和處理模塊之間使用Kafka作為中間件，實現(xiàn)流量削峰和業(yè)務模塊的解耦。在實時處理的模塊中采用Storm技術，Storm的Spout組件讀取Kafka上的數(shù)據，并通過Bolt節(jié)點實現(xiàn)對模塊的分析和處理。Spout把讀取的數(shù)據封裝成Tuple數(shù)據發(fā)送給下游的 Bolt節(jié)點，系統(tǒng)根據創(chuàng)建的 Topology進行流數(shù)