高性能小文件應用文件系統(tǒng)Sfs設計與實現(xiàn).pdf

1、長期以來,計算機其他部件如CPU,內(nèi)存等性能快速提升,而磁盤由于其固有的機械運動的限制,性能已難以提高,成為制約系統(tǒng)性能的瓶頸。而在一些特定的應用場景如web應用環(huán)境中,保存在web服務器上的文件數(shù)量特別多(千萬至億),單個文件比較小(KB級別),現(xiàn)有的文件系統(tǒng)在這類應用中也存在著明顯不足。如何更高效地組織管理web服務器上的小文件,提升小文件的I/O性能一直是學術(shù)界和產(chǎn)業(yè)界研究的熱點。
　　本文針對現(xiàn)有文件系統(tǒng)對小文件存儲優(yōu)化作

2、了較為深入的分析和研究,設計并實現(xiàn)了適應小文件應用環(huán)境的文件系統(tǒng)Sfs。論文的主要工作如下:
　　1.對當前IT發(fā)展趨勢作了概要性的分析,提出了在當前互聯(lián)網(wǎng)和云時代存儲面臨的迫切需求和嚴峻挑戰(zhàn);
　　2.分析研究現(xiàn)有文件系統(tǒng)的主要結(jié)構(gòu)和部分實現(xiàn)細節(jié),尤為關(guān)注其針對小文件的性能優(yōu)化策略。論文中不僅分析了Linux內(nèi)核支持的如Ext2、Ext3、Xfs、Reiserfs等本地文件系統(tǒng),同時更涉及了當今世界著名互聯(lián)網(wǎng)企業(yè)和開源項目

3、組針對其業(yè)務特點而設計的存儲方案,如Facebook的Haystack,淘寶的Tfs等;
　　3.詳細描述了針對小文件應用環(huán)境設計的服務器文件系統(tǒng) Sfs。在磁盤布局方面,Sfs摒棄了傳統(tǒng)文件系統(tǒng)按固定大小劃分磁盤塊的做法,采用磁盤劃分卷,卷中動態(tài)分塊的策略,以適應應用環(huán)境中各種大小文件的存儲需求;盡量簡化文件元數(shù)據(jù),簡化后的元數(shù)據(jù)減少了文件讀寫時的I/O交互次數(shù),也可以在內(nèi)存中緩存盡量多的文件元數(shù)據(jù);在文件系統(tǒng)接口設計上,Sfs