基于可視化技術(shù)的分布式系統(tǒng)監(jiān)控?cái)?shù)據(jù)分析.pdf

1、分布式技術(shù)是目前互聯(lián)網(wǎng)企業(yè)搭建平臺(tái)不可或缺的技術(shù)之一，龐大的分布式系統(tǒng)往往每天都會(huì)產(chǎn)生大量的數(shù)據(jù)。分布式系統(tǒng)監(jiān)控?cái)?shù)據(jù)的可視化可以幫助運(yùn)維工程師更好地了解網(wǎng)絡(luò)結(jié)點(diǎn)的狀態(tài)，挖掘出監(jiān)控?cái)?shù)據(jù)中所蘊(yùn)含的信息，更迅速準(zhǔn)確地制定運(yùn)維策略。因此，如何將可視化技術(shù)應(yīng)用于分布式系統(tǒng)對(duì)互聯(lián)網(wǎng)領(lǐng)域有著重要意義和價(jià)值。本論文針對(duì)如何將可視化技術(shù)應(yīng)用于分布式系統(tǒng)的監(jiān)控?cái)?shù)據(jù)進(jìn)行了研究，解決了監(jiān)控?cái)?shù)據(jù)的采集，數(shù)據(jù)處理和映射，可視化展示，監(jiān)控?cái)?shù)據(jù)分析等問(wèn)題，搭建了一個(gè)完

2、整的數(shù)據(jù)可視化系統(tǒng)。本文選用Logstash，Redis，Elasticsearch，OpenTSDB等技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集和存儲(chǔ)，采用D3框架實(shí)現(xiàn)ThemeRiver，Event Timeline，Circos，Stack等數(shù)據(jù)可視化模塊，并載入真實(shí)數(shù)據(jù)來(lái)進(jìn)行可視化分析實(shí)踐，以驗(yàn)證本文所實(shí)現(xiàn)的可視化模塊的可行性和有效性。
　　本研究主要內(nèi)容包括：⑴監(jiān)控?cái)?shù)據(jù)的采集和存儲(chǔ)。針對(duì)目前市面上存在的服務(wù)器監(jiān)控技術(shù)進(jìn)行了對(duì)比和分析，從原理，適應(yīng)

3、性，實(shí)現(xiàn)優(yōu)化等角度考慮選取合適的技術(shù)來(lái)采集和存儲(chǔ)結(jié)點(diǎn)監(jiān)控?cái)?shù)據(jù)，為可視化提供數(shù)據(jù)來(lái)源。⑵可視化模型的設(shè)計(jì)和實(shí)現(xiàn)。針對(duì)網(wǎng)絡(luò)結(jié)點(diǎn)數(shù)據(jù)可視化的需求進(jìn)行了調(diào)研和分析，選取負(fù)載數(shù)據(jù)，網(wǎng)絡(luò)通信量數(shù)據(jù)，日志數(shù)據(jù)作為可視化數(shù)據(jù)，設(shè)計(jì)并實(shí)現(xiàn)了ThemeRiver，Event Timeline，Circos，Stack等數(shù)據(jù)可視化模塊，并添加簡(jiǎn)單的交互來(lái)增強(qiáng)可視化模型的實(shí)用性。⑶基于可視化模型的監(jiān)控?cái)?shù)據(jù)分析實(shí)踐。載入真實(shí)數(shù)據(jù)來(lái)進(jìn)行可視化分析實(shí)踐，通過(guò)分析監(jiān)控