高性能小文件應(yīng)用文件系統(tǒng)Sfs設(shè)計(jì)與實(shí)現(xiàn).pdf

1、長(zhǎng)期以來(lái),計(jì)算機(jī)其他部件如CPU,內(nèi)存等性能快速提升,而磁盤由于其固有的機(jī)械運(yùn)動(dòng)的限制,性能已難以提高,成為制約系統(tǒng)性能的瓶頸。而在一些特定的應(yīng)用場(chǎng)景如web應(yīng)用環(huán)境中,保存在web服務(wù)器上的文件數(shù)量特別多(千萬(wàn)至億),單個(gè)文件比較小(KB級(jí)別),現(xiàn)有的文件系統(tǒng)在這類應(yīng)用中也存在著明顯不足。如何更高效地組織管理web服務(wù)器上的小文件,提升小文件的I/O性能一直是學(xué)術(shù)界和產(chǎn)業(yè)界研究的熱點(diǎn)。
　　本文針對(duì)現(xiàn)有文件系統(tǒng)對(duì)小文件存儲(chǔ)優(yōu)化作

2、了較為深入的分析和研究,設(shè)計(jì)并實(shí)現(xiàn)了適應(yīng)小文件應(yīng)用環(huán)境的文件系統(tǒng)Sfs。論文的主要工作如下:
　　1.對(duì)當(dāng)前IT發(fā)展趨勢(shì)作了概要性的分析,提出了在當(dāng)前互聯(lián)網(wǎng)和云時(shí)代存儲(chǔ)面臨的迫切需求和嚴(yán)峻挑戰(zhàn);
　　2.分析研究現(xiàn)有文件系統(tǒng)的主要結(jié)構(gòu)和部分實(shí)現(xiàn)細(xì)節(jié),尤為關(guān)注其針對(duì)小文件的性能優(yōu)化策略。論文中不僅分析了Linux內(nèi)核支持的如Ext2、Ext3、Xfs、Reiserfs等本地文件系統(tǒng),同時(shí)更涉及了當(dāng)今世界著名互聯(lián)網(wǎng)企業(yè)和開源項(xiàng)目

3、組針對(duì)其業(yè)務(wù)特點(diǎn)而設(shè)計(jì)的存儲(chǔ)方案,如Facebook的Haystack,淘寶的Tfs等;
　　3.詳細(xì)描述了針對(duì)小文件應(yīng)用環(huán)境設(shè)計(jì)的服務(wù)器文件系統(tǒng) Sfs。在磁盤布局方面,Sfs摒棄了傳統(tǒng)文件系統(tǒng)按固定大小劃分磁盤塊的做法,采用磁盤劃分卷,卷中動(dòng)態(tài)分塊的策略,以適應(yīng)應(yīng)用環(huán)境中各種大小文件的存儲(chǔ)需求;盡量簡(jiǎn)化文件元數(shù)據(jù),簡(jiǎn)化后的元數(shù)據(jù)減少了文件讀寫時(shí)的I/O交互次數(shù),也可以在內(nèi)存中緩存盡量多的文件元數(shù)據(jù);在文件系統(tǒng)接口設(shè)計(jì)上,Sfs