LSMQ：基于LSM-Tree的持久消息隊列系統(tǒng)設(shè)計與實現(xiàn).pdf

1、分布式應(yīng)用程序為了降低模塊相互之間的耦合程度以及更好的應(yīng)對可擴展、可操作性的要求，通常引入消息隊列來降低模塊之間的耦合和平衡各模塊處理能力，消息隊列允許分布式系統(tǒng)模塊之間在保證遵守同樣接口約束的前提下，獨立的擴展和修改各自的處理過程。各模塊對數(shù)據(jù)的處理能力不同，持久化消息隊列能保證消息持久化到他們已經(jīng)完全處理好，從而避免了數(shù)據(jù)丟失。消息隊列解耦了處理過程，所以系統(tǒng)擴容時，各模塊只需獨立增加各自的處理能力即可，大大增強了分布式系統(tǒng)的可擴展

2、性。
　　在充分調(diào)研現(xiàn)有消息隊列的基礎(chǔ)上，發(fā)現(xiàn)現(xiàn)有的消息隊列系統(tǒng)存在消息無法持久化、消息持久化和高吞吐量之間無法兼顧、單機容量有限等問題。LSM-Tree（Log-Structured Merge tree）是一個為了提高B-樹在更新插入數(shù)據(jù)時的性能而提出來的優(yōu)秀算法，思想來源于日志文件系統(tǒng)，主要優(yōu)點是在不犧牲查找效率的前提下，大幅度提升隨機寫、隨機更新、刪除效率。在研究了現(xiàn)有的幾種消息隊列的基礎(chǔ)上，通過引入LSM-Tree結(jié)構(gòu)，

3、設(shè)計和實現(xiàn)了一個高吞吐量、消息堆積能力強的持久化消息隊列LSMQ。結(jié)果顯示，在單機容量、讀寫吞吐量方面，LSMQ表現(xiàn)均達(dá)到預(yù)期。
　　測試結(jié)果表明，LSMQ讀性能達(dá)到了12000條消息/秒，寫性能達(dá)到了15000條消息/秒，略低于內(nèi)存隊列Redis，遠(yuǎn)遠(yuǎn)高于基于B+樹的持久化消息隊列ActiveMQ。在消息堆積能力方面，由于LSMQ輕量級的內(nèi)存結(jié)構(gòu)設(shè)計和基于磁盤的存儲結(jié)構(gòu)， LSMQ可以在低內(nèi)存占用的情況下，達(dá)到充分利用磁盤存儲消