基于Kafka的大數(shù)據(jù)流式處理分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)和信息技術的發(fā)展，企業(yè)中信息系統(tǒng)的規(guī)模迅速擴大，各個系統(tǒng)之間數(shù)據(jù)傳輸?shù)膹碗s度也隨著系統(tǒng)數(shù)量的增加而變得異?；靵y，這就可能造成“信息孤島”的問題從而無法實現(xiàn)數(shù)據(jù)共享。本文通過研究當前的ETL技術，利用Kafka消息系統(tǒng)、Hadoop分布式系統(tǒng)架構、多源數(shù)據(jù)庫等技術，結合Kafka Connect設計并實現(xiàn)一個流數(shù)據(jù)處理分析系統(tǒng)。系統(tǒng)支持數(shù)據(jù)的抽取、聚合和分發(fā)，實現(xiàn)了大量數(shù)據(jù)進出Kafka消息系統(tǒng)從而和其他數(shù)據(jù)源進行交互共享。

2、r>　　本文主要介紹了基于Zookeeper框架實現(xiàn)對集群、Broker和Topic的管理;利用Kafka Connect構建不同的源(source)/目標(sink)連接器，在Kafka消息中間件的上游和下游形成一個無縫連接的數(shù)據(jù)流通道，實現(xiàn)了不同數(shù)據(jù)源中的數(shù)據(jù)的交互共享。同時也介紹了基于JMX實現(xiàn)對集群的監(jiān)控，包括對Broker、Topic和連接器的實時狀態(tài)監(jiān)控、流量監(jiān)控和實時的異常信息預警等;以及基于Filebeat和Logsta