基于Kafka的大數(shù)據(jù)流式處理分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的發(fā)展，企業(yè)中信息系統(tǒng)的規(guī)模迅速擴(kuò)大，各個(gè)系統(tǒng)之間數(shù)據(jù)傳輸?shù)膹?fù)雜度也隨著系統(tǒng)數(shù)量的增加而變得異常混亂，這就可能造成“信息孤島”的問(wèn)題從而無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享。本文通過(guò)研究當(dāng)前的ETL技術(shù)，利用Kafka消息系統(tǒng)、Hadoop分布式系統(tǒng)架構(gòu)、多源數(shù)據(jù)庫(kù)等技術(shù)，結(jié)合Kafka Connect設(shè)計(jì)并實(shí)現(xiàn)一個(gè)流數(shù)據(jù)處理分析系統(tǒng)。系統(tǒng)支持?jǐn)?shù)據(jù)的抽取、聚合和分發(fā)，實(shí)現(xiàn)了大量數(shù)據(jù)進(jìn)出Kafka消息系統(tǒng)從而和其他數(shù)據(jù)源進(jìn)行交互共享。

2、r>　　本文主要介紹了基于Zookeeper框架實(shí)現(xiàn)對(duì)集群、Broker和Topic的管理;利用Kafka Connect構(gòu)建不同的源(source)/目標(biāo)(sink)連接器，在Kafka消息中間件的上游和下游形成一個(gè)無(wú)縫連接的數(shù)據(jù)流通道，實(shí)現(xiàn)了不同數(shù)據(jù)源中的數(shù)據(jù)的交互共享。同時(shí)也介紹了基于JMX實(shí)現(xiàn)對(duì)集群的監(jiān)控，包括對(duì)Broker、Topic和連接器的實(shí)時(shí)狀態(tài)監(jiān)控、流量監(jiān)控和實(shí)時(shí)的異常信息預(yù)警等;以及基于Filebeat和Logsta