基于文件重構和質(zhì)量調(diào)整的冗余數(shù)據(jù)刪除技術.pdf

1、隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)的存儲需求急速增長。盡管在過去的數(shù)十年中隨著技術的發(fā)展,硬件的單位存儲價格已經(jīng)顯著下降,但是因為每天出現(xiàn)的新增數(shù)據(jù)量非常巨大,因此優(yōu)化存儲空間使用,節(jié)省存儲空間仍是非常重要的課題。
　　現(xiàn)有的多數(shù)文件系統(tǒng)將塊作為最小存儲單元,這樣的機制會引起內(nèi)部碎片現(xiàn)象,進而導致一定的空間浪費,不同的塊大小會導致不同程度的空間浪費。在文件系統(tǒng)中,如果塊大小不合適,內(nèi)部碎片導致的空間浪費將會非?？捎^。除此之外,隨著使用環(huán)境

2、和使用目的的變化,現(xiàn)有的很多文件會包含一些冗余信息,從而引起了空間的浪費。例如,在小屏幕移動設備上查看包含高分辨率圖像的文件,這些高分辨率圖像就會造成無謂的空間浪費。如果能夠在刪除這些冗余信息來調(diào)整文件質(zhì)量的同時,還可以保留文件的信息并保證文件正常使用,就能夠達到進一步節(jié)省空間的目的。
　　本文中提出了基于文件重構和文件質(zhì)量調(diào)整的冗余數(shù)據(jù)刪除技術。該技術通過調(diào)整文件系統(tǒng)的塊大小參數(shù),同時對文件系統(tǒng)進行文件重構來實現(xiàn)減少文件的內(nèi)部碎

3、片的目的;同時對于某些具體類型的文件,該技術通過分析文件的內(nèi)容,找出冗余數(shù)據(jù)進行刪除和修改來進行文件質(zhì)量的調(diào)整,從而取得減少空間浪費達到更高的空間使用率的目的。
　　在具體實現(xiàn)的基于Ext2/3文件系統(tǒng)的文件重構方法中,文件重構過程中只有元數(shù)據(jù)和一小部分的文件數(shù)據(jù)需要修改,實驗結(jié)果表明該方法可以節(jié)省3％-9%的空間。目前本文方法對微軟公司的PowerPoint文件以及PDF文件實現(xiàn)了文件質(zhì)量調(diào)整,經(jīng)過試驗測試可得方法實現(xiàn)的空間節(jié)省