基于NoSQL的分布式存儲系統(tǒng)相關算法改進與性能優(yōu)化.pdf

1、隨著網絡存儲系統(tǒng)的快速發(fā)展，基于分布式存儲的應用正經歷著前所未有的高速發(fā)展，需要存儲大量數(shù)據(jù)的網站、云服務等得以普及。然而這些數(shù)據(jù)目前集中部署在單節(jié)點存儲設備上，隨著數(shù)據(jù)規(guī)模的擴大，單臺主機的資源并不能容納大規(guī)模的數(shù)據(jù)。由于后續(xù)擴容成本昂貴，因此迫切需要引入分布式存儲系統(tǒng)來解決大數(shù)據(jù)的存放和訪問問題。同時隨著電子商務的發(fā)展以及Web2.0技術在網絡應用的廣泛應用，傳統(tǒng)的關系型數(shù)據(jù)庫不能滿足對當今數(shù)據(jù)的存儲要求。NoSQL數(shù)據(jù)庫是對關系型

2、數(shù)據(jù)庫的補充，通過簡單數(shù)據(jù)模型、元數(shù)據(jù)以及應用數(shù)據(jù)分離和弱一致性等技術，實現(xiàn)對大數(shù)據(jù)的有效管理。
　　基于以上，本文主要研究基于NoSQL的分布式存儲中的數(shù)據(jù)分布、數(shù)據(jù)壓縮和及存儲格式問題，在分析總結國內外相關研究的基礎上，提出了基于Redis改進的一致性哈希算法和基于Hive的性能優(yōu)化研究，并以Redis在排行榜問題中的應用為背景，對Redis進行了有效的性能分析與評測。主要的研究工作如下：
　　(1)基于Redis改進的

3、一致性哈希算法，為了解決分布式存儲系統(tǒng)中的數(shù)據(jù)均衡問題，提高算法在應用實踐時的可靠性、可用性等特性。通過對Redis存儲節(jié)點進行邏輯劃分成一個組，組內采用主從模式可以提高分布式存儲的一致性和可靠性，并分析了同一個組內不同讀寫策略的數(shù)據(jù)一致性。當組內主節(jié)點宕機時，利用從節(jié)點的備份數(shù)據(jù)以及主從切換可以及時對外提供集群服務。通過實驗證明，該算法能有效地降低讀寫操作平均響應時間和提高系統(tǒng)吞吐量，使分布式存儲系統(tǒng)負載更為均衡。
　　(2)基

4、于Hive的性能優(yōu)化研究，為了解決分布式存儲系統(tǒng)中文件系統(tǒng)的數(shù)據(jù)壓縮和存儲格式問題，通過對MapReduce作業(yè)調度和Hive性能調優(yōu)兩個方面對Hive的性能進行優(yōu)化研究。對于MapReduce主要從編程模型切入，分析其執(zhí)行過程，并從map端、reduce端進行參數(shù)調優(yōu)。接著從Hive框架角度入手，分別從分區(qū)表和外部表以及常用數(shù)據(jù)文件的壓縮、行式存儲與列式存儲等方面進行深入研究。實驗結果表明，snappy壓縮、orcfile/parqu