面向鍵值數(shù)據(jù)庫應(yīng)用的混合存儲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著大規(guī)模互聯(lián)網(wǎng)應(yīng)用的高速發(fā)展,給存儲系統(tǒng)的可擴展性提出了更高的要求,鍵值數(shù)據(jù)庫由于其簡單高效的數(shù)據(jù)模型在可擴展性方面較傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)有很大的優(yōu)勢。另一方面,隨著硬件的發(fā)展,固態(tài)盤的性價比逐步提高,已經(jīng)成為越來越多系統(tǒng)的首選,其隨機讀的優(yōu)勢與互聯(lián)網(wǎng)應(yīng)用的特征高度符合,但是其寫性能的相對低下以及擦除次數(shù)的限制影響了它的應(yīng)用場景,于是將固態(tài)盤與磁盤相結(jié)合的融合存儲系統(tǒng)得到了大家的廣泛關(guān)注。因此針對鍵值數(shù)據(jù)庫而設(shè)計的融合存儲系統(tǒng)是一個有價值

2、的結(jié)合點。
　　針對Web應(yīng)用的負載特點,通過日志的方式順序的記錄對鍵值數(shù)據(jù)庫的操作,所有的操作都僅僅是順序的寫入內(nèi)存,當(dāng)內(nèi)存中的數(shù)據(jù)達到了一定閾值以后一次刷寫到后端存儲上,日志的方式一定程度上是通過犧牲讀性能來優(yōu)化寫性能,所以和固態(tài)盤有天然的互補關(guān)系。由于后端固態(tài)盤與磁盤的不同特性,使用層次化的方法將寫的特點進行分類后寫入不同的設(shè)備上,并設(shè)計實現(xiàn)了一個可定制文件放置與遷移策略的文件系統(tǒng)HybridFS,通過監(jiān)控分析腳本可以對同一

3、文件系統(tǒng)中不同特點的文件選擇不同的放置與遷移策略。針對鍵值數(shù)據(jù)庫的文件訪問特點,日志類文件多是一次寫很少讀,所以直接寫入磁盤。元數(shù)據(jù)類文件讀寫都很頻繁但是文件大小和數(shù)量偏少,因此寫入固態(tài)盤。對數(shù)據(jù)文件由于其海量、定長、一次寫多次讀的特點,根據(jù)負載特點選擇性的寫入磁盤或者固態(tài)盤。針對純寫入型負載使用概率選擇的方式比Flashcache提升了5％-56％,而對于讀寫混合行負載使用LRU的遷移方式相比Flashcache有4％-14％的性能提