分布式文件系統(tǒng)中基于非易失存儲器的緩存子系統(tǒng).pdf

1、隨著信息技術(shù)的發(fā)展，需要存儲和管理的數(shù)據(jù)越來越多，作為存儲系統(tǒng)重要支撐之一的分布式文件系統(tǒng)將面臨更嚴(yán)峻的挑戰(zhàn)。緩存機制是提高分布式文件系統(tǒng)性能的重要手段。本文以分布式文件系統(tǒng)中新型緩存子系統(tǒng)為研究對象，主要工作如下:
　　 首先針對SAN環(huán)境下的分布式文件系統(tǒng)和清華大學(xué)高性能計算技術(shù)實驗室研發(fā)的面向Flash對象存儲系統(tǒng)，引入新型非易失存儲器，設(shè)計了基于非易失存儲器新型緩存子系統(tǒng)的結(jié)構(gòu)，闡述了各功能模塊的作用。
　　 其

2、次，針對分布式文件系統(tǒng)關(guān)閉文件時需要同步數(shù)據(jù)和元數(shù)據(jù)對性能的影響，提出了基于非易失存儲器的客戶端緩存機制。設(shè)計了基于非易失緩存的寫流程，將數(shù)據(jù)和元數(shù)據(jù)緩存在非易失存儲器上，在提高性能的同時避免數(shù)據(jù)和元數(shù)據(jù)丟失。設(shè)計了自適應(yīng)緩存寫回策略，通過動態(tài)調(diào)整寫線程的數(shù)量，防止出現(xiàn)瓶頸。設(shè)計了基于報文合并的通信策略，減少通信對性能的影響。并在pNFS的基礎(chǔ)上實現(xiàn)了原型系統(tǒng)，使用通用測試工具filebench應(yīng)用fileserver與varmail負(fù)

3、載，以及postmark設(shè)置5000、10000、30000和50000事務(wù)負(fù)載進行了測試，驗證了基于非易失存儲器的客戶端緩存機制能提高分布式文件系統(tǒng)7％-1倍的I/O性能和1倍以上的事務(wù)處理速度。
　　 最后，針對SSD中現(xiàn)有緩存資源緊缺、缺失文件系統(tǒng)語義以及Flash讀寫速度不對稱和擦寫次數(shù)有限等問題，提出了面向Flash的存儲設(shè)備緩存機制。在文件系統(tǒng)層實現(xiàn)SSD的緩存，引入基于對象的緩存管理方式，給出了基于對象SSD緩存的