基于LevelDB的鍵值存儲引擎的設計與實現(xiàn).pdf

1、海量數(shù)據(jù)的合理運用是云時代的大數(shù)據(jù)的主題，如何在數(shù)據(jù)中分析提取出關鍵信息是企業(yè)關注的焦點。解決數(shù)據(jù)存儲及管理，發(fā)展一個性能高、擴展性好、性價比高、易用的分布式存儲系統(tǒng)來滿足新的發(fā)展需求是整個互聯(lián)網(wǎng)發(fā)展的關鍵。將分布式集合進行計算、存儲管理，促進各行各業(yè)提高效益，簡化服務是一場新的信息技術革命。鑒于此本文主要針對提高分布式KV存儲系統(tǒng)的性能，分析研究系統(tǒng)中存儲引擎的原理、架構及工作流程，并提出優(yōu)化方案。
　　本文首先研究分析了當前國

2、內(nèi)外主流分布式鍵值存儲Memcached、Redis、Tair，并對三種系統(tǒng)進行效率上的對比分析，之后對ShenDB所采用的理論模型LSM-Tree、架構基礎LevelDB進行分析描述，最后從compaction的順序執(zhí)行入手對系統(tǒng)優(yōu)化，提升數(shù)據(jù)的處理性能。在重新構建compaction中第一階段我將其拆分，將Write、Compute、Read操作進行流水線合并。但是對于不同情形的流水線合并存在不同的瓶頸，無論哪種資源成為瓶頸，都不能

3、充分利用另一種資源，并且流水線效率低。第二階段為了減低瓶頸對于流水線效率的影響，采用添加瓶頸資源的方式，進行并行流水線合并。優(yōu)化后的系統(tǒng)比第一階段有著顯著的提升。最后與LevelDB進行隨機讀寫和順序讀寫的性能對比測試，測試層級之間相鄰大小比例設為（1:2、1:4、1:6、1:8、1:10），數(shù)據(jù)量設為value_size*Num=(1KB*1M10KB*100K100KB*K)。
　　經(jīng)過長時間大規(guī)模的對比測試，ShenDB的存