kafka深度分析

1、Kafka深度分析（2）Exactlyoncemessagetransfer怎樣記錄每個(gè)consumer處理的信息的狀態(tài)？在Kafka中僅保存了每個(gè)consumer已經(jīng)處理數(shù)據(jù)的offset。這樣有兩個(gè)好處：1）保存的數(shù)據(jù)量少2）當(dāng)consumer出錯(cuò)時(shí)，重新啟動(dòng)consumer處理數(shù)據(jù)時(shí)，只需從最近的offset開始處理數(shù)據(jù)即可。（3）PushpullProducer向Kafka（push）推數(shù)據(jù)，consumer從kafka拉（pu

2、ll）數(shù)據(jù)。（4）負(fù)載均衡和容錯(cuò)）負(fù)載均衡和容錯(cuò)Producer和broker之間沒有負(fù)載均衡機(jī)制。broker和consumer之間利用zookeeper進(jìn)行負(fù)載均衡。所有broker和consumer都會(huì)在zookeeper中進(jìn)行注冊(cè)，且zookeeper會(huì)保存他們的一些元數(shù)據(jù)信息。如果某個(gè)broker和consumer發(fā)生了變化，所有其他的broker和consumer都會(huì)得到通知。kafka術(shù)語術(shù)語TopicTopicTopic

3、是KAFKA對(duì)消息分類的依據(jù)一條消息必須有一個(gè)與之對(duì)應(yīng)的Topic比如現(xiàn)在又兩個(gè)Topic分別是TopicA和TopicBProducer向TopicA發(fā)送一個(gè)消息messageA然后向TopicB發(fā)送一個(gè)消息messaeB那么訂閱TopicA的Consumer就會(huì)收到消息messageA訂閱TopicB的Consumer就會(huì)收到消息messaeB(每個(gè)Consumer可以同時(shí)訂閱多個(gè)Topic也即是說同時(shí)訂閱TopicA和TopicB