面向移動終端的數(shù)據(jù)去重研究.pdf

1、在信息社會高速發(fā)展的時期，移動互聯(lián)網(wǎng)快速發(fā)展，加上個人云存儲等以個人云為基礎的服務快速興起，推動了數(shù)據(jù)云同步和云存儲業(yè)務的增長，使得網(wǎng)絡數(shù)據(jù)信息量呈現(xiàn)爆炸式增長形勢，給網(wǎng)絡存儲空間和網(wǎng)絡帶寬帶來了巨大的壓力，尤其是在移動互聯(lián)網(wǎng)領域，問題則更為明顯。眾所周知，移動終端存儲空間相對較小，并且移動互聯(lián)網(wǎng)的接入網(wǎng)絡如蜂窩網(wǎng)的成本相對較高，所以，面向移動終端的數(shù)據(jù)云服務對存儲空間和網(wǎng)絡帶寬有著更高的要求，如何減少冗余數(shù)據(jù)的傳輸和存儲就顯得至關重要

2、。
　　重復數(shù)據(jù)刪除技術(DataDe-duplicationTechnology)通過刪除數(shù)據(jù)存儲系統(tǒng)中相同的文件或相同的文件數(shù)據(jù)塊，只保留重復文件或重復數(shù)據(jù)塊的一個備份，以達到消除數(shù)據(jù)冗余并縮減網(wǎng)絡存儲空間的目的，同時提升了網(wǎng)絡帶寬的利用率。根據(jù)文件數(shù)據(jù)去重的粒度重復數(shù)據(jù)刪除技術可分為文件級別的重復數(shù)據(jù)刪除技術、數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除技術和數(shù)據(jù)對象級別的重復數(shù)據(jù)刪除技術。目前重復數(shù)據(jù)刪除技術已經(jīng)應用于數(shù)據(jù)備份和存儲系統(tǒng)中，大

3、幅減少了數(shù)據(jù)冗余，提高了存儲空間的有效利用率。但是，由于移動互聯(lián)網(wǎng)接入網(wǎng)絡和移動終端內存小等一系列局限性，重復數(shù)據(jù)刪除技術并沒有在移動互聯(lián)網(wǎng)領域得到廣泛應用。雖然在移動互聯(lián)網(wǎng)領域也出現(xiàn)了部分應用重復數(shù)據(jù)刪除技術的實例，但是該類應用仍然有很多不足之處可以得到改進。比如以Dropbox為代表的基于個人云服務的應用采用了以定長切分算法(FSP)為基礎的數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除算法，此方法雖然簡單有效，但是對于增加數(shù)據(jù)和刪除數(shù)據(jù)的操作敏感性太高

4、，從而影響了數(shù)據(jù)去重率。
　　本文提出將多種重復數(shù)據(jù)刪除技術應用于移動互聯(lián)網(wǎng)領域，以數(shù)據(jù)去重率和移動終端設備性能損耗兩方面作為主要衡量標準，面向移動互聯(lián)平臺對重復數(shù)據(jù)刪除算法進行深入的研究和優(yōu)化。主要完成了以下兩方面工作:第一，結合移動互聯(lián)網(wǎng)在移動終端性能和網(wǎng)絡接入等多方面的限制，綜合數(shù)據(jù)去重率和機器開銷兩方面因素，選取適用于移動互聯(lián)網(wǎng)的最優(yōu)重復數(shù)據(jù)刪除算法進行深入研究和優(yōu)化;第二，采集多種類型的文件作為樣本，對移動互聯(lián)平臺的最優(yōu)