基于文件重構(gòu)和質(zhì)量調(diào)整的冗余數(shù)據(jù)刪除技術(shù).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)的存儲(chǔ)需求急速增長(zhǎng)。盡管在過(guò)去的數(shù)十年中隨著技術(shù)的發(fā)展,硬件的單位存儲(chǔ)價(jià)格已經(jīng)顯著下降,但是因?yàn)槊刻斐霈F(xiàn)的新增數(shù)據(jù)量非常巨大,因此優(yōu)化存儲(chǔ)空間使用,節(jié)省存儲(chǔ)空間仍是非常重要的課題。
　　現(xiàn)有的多數(shù)文件系統(tǒng)將塊作為最小存儲(chǔ)單元,這樣的機(jī)制會(huì)引起內(nèi)部碎片現(xiàn)象,進(jìn)而導(dǎo)致一定的空間浪費(fèi),不同的塊大小會(huì)導(dǎo)致不同程度的空間浪費(fèi)。在文件系統(tǒng)中,如果塊大小不合適,內(nèi)部碎片導(dǎo)致的空間浪費(fèi)將會(huì)非?？捎^。除此之外,隨著使用環(huán)境

2、和使用目的的變化,現(xiàn)有的很多文件會(huì)包含一些冗余信息,從而引起了空間的浪費(fèi)。例如,在小屏幕移動(dòng)設(shè)備上查看包含高分辨率圖像的文件,這些高分辨率圖像就會(huì)造成無(wú)謂的空間浪費(fèi)。如果能夠在刪除這些冗余信息來(lái)調(diào)整文件質(zhì)量的同時(shí),還可以保留文件的信息并保證文件正常使用,就能夠達(dá)到進(jìn)一步節(jié)省空間的目的。
　　本文中提出了基于文件重構(gòu)和文件質(zhì)量調(diào)整的冗余數(shù)據(jù)刪除技術(shù)。該技術(shù)通過(guò)調(diào)整文件系統(tǒng)的塊大小參數(shù),同時(shí)對(duì)文件系統(tǒng)進(jìn)行文件重構(gòu)來(lái)實(shí)現(xiàn)減少文件的內(nèi)部碎

3、片的目的;同時(shí)對(duì)于某些具體類(lèi)型的文件,該技術(shù)通過(guò)分析文件的內(nèi)容,找出冗余數(shù)據(jù)進(jìn)行刪除和修改來(lái)進(jìn)行文件質(zhì)量的調(diào)整,從而取得減少空間浪費(fèi)達(dá)到更高的空間使用率的目的。
　　在具體實(shí)現(xiàn)的基于Ext2/3文件系統(tǒng)的文件重構(gòu)方法中,文件重構(gòu)過(guò)程中只有元數(shù)據(jù)和一小部分的文件數(shù)據(jù)需要修改,實(shí)驗(yàn)結(jié)果表明該方法可以節(jié)省3％-9%的空間。目前本文方法對(duì)微軟公司的PowerPoint文件以及PDF文件實(shí)現(xiàn)了文件質(zhì)量調(diào)整,經(jīng)過(guò)試驗(yàn)測(cè)試可得方法實(shí)現(xiàn)的空間節(jié)省