基于Storm的大數(shù)據(jù)業(yè)務(wù)層實(shí)時(shí)監(jiān)控系統(tǒng)研究.pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，加之物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的快速興起，人們的生活已經(jīng)被數(shù)據(jù)所包圍。在騰訊、阿里這樣的互聯(lián)網(wǎng)巨頭公司中，手機(jī)QQ、淘寶商城這樣的業(yè)務(wù)，其監(jiān)控服務(wù)日志數(shù)據(jù)，每天都會(huì)達(dá)到50TB左右。如何對(duì)這些監(jiān)控?cái)?shù)據(jù)進(jìn)行有效的過(guò)濾和實(shí)時(shí)分析，并完成對(duì)業(yè)務(wù)的實(shí)時(shí)監(jiān)控，是一項(xiàng)巨大的挑戰(zhàn)?，F(xiàn)有的監(jiān)控系統(tǒng)大多只提供硬件指標(biāo)的檢測(cè)，在業(yè)務(wù)層的監(jiān)控系統(tǒng)也隨著業(yè)務(wù)量的提高，面臨著大數(shù)據(jù)的挑戰(zhàn)。
　　本文針對(duì)上述問(wèn)題，在大數(shù)據(jù)流式計(jì)算框

2、架Storm和分布式消息隊(duì)列Kafka的基礎(chǔ)上，設(shè)計(jì)了一套用于大數(shù)據(jù)業(yè)務(wù)層的通用實(shí)時(shí)監(jiān)控解決方案。用戶只需要根據(jù)自身的服務(wù)，配置上報(bào)的字段屬性和監(jiān)控的規(guī)則，即可實(shí)現(xiàn)對(duì)服務(wù)的實(shí)時(shí)監(jiān)控和告警檢測(cè)。本文的主要工作及創(chuàng)新點(diǎn)如下：
　?。?）針對(duì)現(xiàn)有系統(tǒng)監(jiān)控配置繁瑣，不能可視化的問(wèn)題，提供統(tǒng)一的Web服務(wù)，使得監(jiān)控的基本信息、輸入字段、處理邏輯、拓?fù)漕A(yù)覽等操作均可進(jìn)行可視化的操作，將各模塊進(jìn)行可插拔的設(shè)計(jì)和實(shí)現(xiàn)，然后根據(jù)頁(yè)面的配置信息自動(dòng)生

3、成監(jiān)控邏輯的代碼，大大降低了監(jiān)控管理配置的復(fù)雜度，解決現(xiàn)有的監(jiān)控系統(tǒng)，在告警配置上的繁瑣、不透明的問(wèn)題。
　?。?）針對(duì)現(xiàn)有監(jiān)控系統(tǒng)誤告率較高的問(wèn)題，提出了一套監(jiān)控指標(biāo)告警檢測(cè)方案，有效的降低了系統(tǒng)的誤告率。方案對(duì)歷史數(shù)據(jù)進(jìn)行數(shù)字特征的計(jì)算，并根據(jù)假設(shè)檢驗(yàn)和聚類得出的結(jié)果進(jìn)行監(jiān)控采樣點(diǎn)的波動(dòng)率分析，利用三次指數(shù)平滑法和BP神經(jīng)網(wǎng)絡(luò)法，對(duì)歷史數(shù)據(jù)進(jìn)行分析、建模和預(yù)測(cè)。結(jié)合離線計(jì)算和實(shí)時(shí)計(jì)算，對(duì)監(jiān)控的采樣數(shù)據(jù)進(jìn)行告警檢測(cè)，從而將系統(tǒng)的

4、誤告率從10％降低到1%左右。
　?。?）針對(duì)現(xiàn)有系統(tǒng)在大數(shù)據(jù)環(huán)境下傳輸效率低，處理延遲高的問(wèn)題，將系統(tǒng)分為用戶接口層、數(shù)據(jù)接入/緩存層、實(shí)時(shí)計(jì)算層、離線計(jì)算層、數(shù)據(jù)持久化層進(jìn)行設(shè)計(jì)。在數(shù)據(jù)接入層和實(shí)時(shí)計(jì)算層中，將Storm和Kafka進(jìn)行整合，并進(jìn)行二次開(kāi)發(fā)，充分利用Storm低延遲和高并發(fā)的特性，并利用ProtocolBuffer對(duì)消息進(jìn)行序列化的編碼壓縮，從而提高系統(tǒng)的傳輸和處理效率，解決現(xiàn)有的監(jiān)控系統(tǒng)無(wú)法滿足在大數(shù)據(jù)環(huán)境下