基于LSM-Tree的鍵值存儲(chǔ)引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的飛速發(fā)展，各行各業(yè)都開(kāi)始接入互聯(lián)網(wǎng)。面對(duì)數(shù)據(jù)組織形式日趨多樣、數(shù)據(jù)生成速度愈發(fā)快速的現(xiàn)實(shí)狀況，分布式NoSQL數(shù)據(jù)庫(kù)以其高效的處理速度、良好兼容性和擴(kuò)展性得到市場(chǎng)的廣泛認(rèn)可。在數(shù)據(jù)生成速度愈來(lái)愈快的同時(shí)，用戶請(qǐng)求中寫(xiě)操作所占比重也在持續(xù)增長(zhǎng)，如何對(duì)NoSQL數(shù)據(jù)庫(kù)面向?qū)戇M(jìn)行優(yōu)化，提供寫(xiě)性能更優(yōu)的NoSQL數(shù)據(jù)庫(kù)一直是關(guān)注的重點(diǎn)。
　　鍵值存儲(chǔ)模型由于模型簡(jiǎn)單適用于各種應(yīng)用場(chǎng)景被廣泛引用于分布式NoSQL數(shù)據(jù)庫(kù)中。一個(gè)

2、存儲(chǔ)系統(tǒng)中最核心的組件是存儲(chǔ)引擎，存儲(chǔ)引擎的性能一定程度上決定存儲(chǔ)系統(tǒng)的整體性能。大部分鍵值數(shù)據(jù)庫(kù)都使用了面向?qū)憙?yōu)化的LSM-Tree數(shù)據(jù)結(jié)果或其變體作為存儲(chǔ)引擎的核心數(shù)據(jù)結(jié)構(gòu)，但LSM-Tree數(shù)據(jù)結(jié)構(gòu)本身存在著嚴(yán)重的寫(xiě)放大問(wèn)題。主要思想為延遲操作與批量處理的LSM-Tree中，同一個(gè)鍵可能會(huì)存在多個(gè)版本鍵值對(duì)。為保證鍵值對(duì)訪問(wèn)的正確性，鍵值對(duì)的存儲(chǔ)需要遵守新舊版本約束。為了提供更好的讀性能，LSM-Tree需要定期額完成數(shù)據(jù)合并與遷

3、移操作，形成了逐層流動(dòng)機(jī)制。在保證鍵值對(duì)在LSM-Tree中的新舊版本約束情況下，鍵值對(duì)并不需要完全進(jìn)行逐層流動(dòng)，以此為動(dòng)機(jī)對(duì)LSM-Tree數(shù)據(jù)結(jié)構(gòu)進(jìn)行優(yōu)化，減少LSM-Tree寫(xiě)放大問(wèn)題提升存儲(chǔ)引擎的寫(xiě)性能。
　　系統(tǒng)對(duì)LSM-Tree數(shù)據(jù)結(jié)構(gòu)進(jìn)行優(yōu)化，增加內(nèi)存組件緩存鍵值對(duì)數(shù)據(jù)，減少數(shù)據(jù)在遷移過(guò)程中產(chǎn)生的寫(xiě)放大問(wèn)題，并且為優(yōu)化的LSM-Tree數(shù)據(jù)結(jié)果設(shè)計(jì)了完整的可靠性方案。系統(tǒng)以優(yōu)化的LSM-Tree設(shè)計(jì)實(shí)現(xiàn)一個(gè)鍵值存儲(chǔ)引