kafka深度分析

1、Kafka深度分析（2）Exactlyoncemessagetransfer怎樣記錄每個consumer處理的信息的狀態(tài)？在Kafka中僅保存了每個consumer已經(jīng)處理數(shù)據(jù)的offset。這樣有兩個好處：1）保存的數(shù)據(jù)量少2）當consumer出錯時，重新啟動consumer處理數(shù)據(jù)時，只需從最近的offset開始處理數(shù)據(jù)即可。（3）PushpullProducer向Kafka（push）推數(shù)據(jù)，consumer從kafka拉（pu

2、ll）數(shù)據(jù)。（4）負載均衡和容錯）負載均衡和容錯Producer和broker之間沒有負載均衡機制。broker和consumer之間利用zookeeper進行負載均衡。所有broker和consumer都會在zookeeper中進行注冊，且zookeeper會保存他們的一些元數(shù)據(jù)信息。如果某個broker和consumer發(fā)生了變化，所有其他的broker和consumer都會得到通知。kafka術(shù)語術(shù)語TopicTopicTopic

3、是KAFKA對消息分類的依據(jù)一條消息必須有一個與之對應(yīng)的Topic比如現(xiàn)在又兩個Topic分別是TopicA和TopicBProducer向TopicA發(fā)送一個消息messageA然后向TopicB發(fā)送一個消息messaeB那么訂閱TopicA的Consumer就會收到消息messageA訂閱TopicB的Consumer就會收到消息messaeB(每個Consumer可以同時訂閱多個Topic也即是說同時訂閱TopicA和TopicB