基于Linux的混合存儲(chǔ)系統(tǒng)Bcache的研究與改進(jìn).pdf

1、隨著我們步入大數(shù)據(jù)時(shí)代，數(shù)據(jù)量、服務(wù)器量不斷增長(zhǎng)，對(duì)存儲(chǔ)系統(tǒng)的增長(zhǎng)趨向大容量、低成本和高性能。然而，若是單獨(dú)介質(zhì)的存儲(chǔ)系統(tǒng)，機(jī)械硬盤(pán)、固態(tài)硬盤(pán)或是非易失隨機(jī)存儲(chǔ)器都有不同的限制，不能滿(mǎn)足我們需要的存儲(chǔ)系統(tǒng)。機(jī)械硬盤(pán)容量大，價(jià)格低，然而讀寫(xiě)性能差，固態(tài)硬盤(pán)則剛好與機(jī)械硬盤(pán)相反，讀寫(xiě)速度快，尤其是隨機(jī)性能非常優(yōu)秀，非易失性隨機(jī)存儲(chǔ)器的劣勢(shì)在于價(jià)格過(guò)高。在尚未發(fā)現(xiàn)滿(mǎn)足容量、價(jià)格和性能的存儲(chǔ)介質(zhì)前，混合存儲(chǔ)能充分利用機(jī)械硬盤(pán)和固態(tài)硬盤(pán)的的特性組

2、成高效的存儲(chǔ)系統(tǒng)，既有超大的容量，又能在保持合理的成本的前提下，顯著提高存儲(chǔ)系統(tǒng)性能。開(kāi)源框架Bcache就是一種混合存儲(chǔ)技術(shù)的實(shí)現(xiàn)，利用高速固態(tài)硬盤(pán)給慢速的機(jī)械硬盤(pán)加速，平衡了系統(tǒng)的成本和需求。
　　本文首先介紹了混合存儲(chǔ)技術(shù)的研究現(xiàn)狀及其發(fā)展歷程，然后分析了混合存儲(chǔ)中的關(guān)鍵技術(shù)，接下來(lái)深入研究了兩種基于Linux的混合存儲(chǔ)系統(tǒng)的算法Flashcache和Bcache。Flashcache算法是利用Linux設(shè)備映射機(jī)制實(shí)現(xiàn)的，

3、Bcache算法將SSD和HDD虛擬成一個(gè)虛擬設(shè)備，提供給上層使用。從緩存映射策略、緩存替換策略、讀寫(xiě)處理流程和清理緩存的垃圾回收機(jī)制這四個(gè)方面詳細(xì)分析了兩種算法。最后，對(duì)兩種算法進(jìn)行仿真實(shí)驗(yàn)，并且通過(guò)實(shí)驗(yàn)驗(yàn)證Bcache算法優(yōu)于Flashcache算法。
　　在分析了Bcache具體實(shí)現(xiàn)的基礎(chǔ)上，針對(duì)Bcache算法中存在的一些缺陷，并行中的競(jìng)爭(zhēng)與調(diào)度、回寫(xiě)速率調(diào)整、回寫(xiě)延遲過(guò)長(zhǎng)、隨機(jī)讀性能的瓶頸等問(wèn)題，本章提出了一種改進(jìn)的Bc

4、ache算法來(lái)解決上述缺陷。針對(duì)系統(tǒng)的并行性問(wèn)題，對(duì)B+樹(shù)的鎖機(jī)制做了優(yōu)化，增加了基于線程池的優(yōu)化隊(duì)列，提高了線程并行程度并且減小了線程之間切換浪費(fèi)的系統(tǒng)資源。對(duì)于回寫(xiě)中存在的問(wèn)題，對(duì)回寫(xiě)速率的控制算法進(jìn)行了優(yōu)化，提出結(jié)合了指數(shù)加權(quán)平均算法和PID控制算法的改進(jìn)的速率控制算法，同時(shí)提出一種新的方法解決了回寫(xiě)過(guò)程中IO延遲過(guò)大的問(wèn)題。對(duì)于Bcache隨機(jī)讀性能的瓶頸，設(shè)計(jì)了一種高效且安全的頁(yè)高速緩存機(jī)制并給出了實(shí)現(xiàn)，可以大幅提高隨機(jī)讀性能