面向移動終端的數(shù)據(jù)去重研究.pdf

1、在信息社會高速發(fā)展的時期，移動互聯(lián)網(wǎng)快速發(fā)展，加上個人云存儲等以個人云為基礎(chǔ)的服務(wù)快速興起，推動了數(shù)據(jù)云同步和云存儲業(yè)務(wù)的增長，使得網(wǎng)絡(luò)數(shù)據(jù)信息量呈現(xiàn)爆炸式增長形勢，給網(wǎng)絡(luò)存儲空間和網(wǎng)絡(luò)帶寬帶來了巨大的壓力，尤其是在移動互聯(lián)網(wǎng)領(lǐng)域，問題則更為明顯。眾所周知，移動終端存儲空間相對較小，并且移動互聯(lián)網(wǎng)的接入網(wǎng)絡(luò)如蜂窩網(wǎng)的成本相對較高，所以，面向移動終端的數(shù)據(jù)云服務(wù)對存儲空間和網(wǎng)絡(luò)帶寬有著更高的要求，如何減少冗余數(shù)據(jù)的傳輸和存儲就顯得至關(guān)重要

2、。
　　重復(fù)數(shù)據(jù)刪除技術(shù)(DataDe-duplicationTechnology)通過刪除數(shù)據(jù)存儲系統(tǒng)中相同的文件或相同的文件數(shù)據(jù)塊，只保留重復(fù)文件或重復(fù)數(shù)據(jù)塊的一個備份，以達到消除數(shù)據(jù)冗余并縮減網(wǎng)絡(luò)存儲空間的目的，同時提升了網(wǎng)絡(luò)帶寬的利用率。根據(jù)文件數(shù)據(jù)去重的粒度重復(fù)數(shù)據(jù)刪除技術(shù)可分為文件級別的重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)塊級別的重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)對象級別的重復(fù)數(shù)據(jù)刪除技術(shù)。目前重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)應(yīng)用于數(shù)據(jù)備份和存儲系統(tǒng)中，大

3、幅減少了數(shù)據(jù)冗余，提高了存儲空間的有效利用率。但是，由于移動互聯(lián)網(wǎng)接入網(wǎng)絡(luò)和移動終端內(nèi)存小等一系列局限性，重復(fù)數(shù)據(jù)刪除技術(shù)并沒有在移動互聯(lián)網(wǎng)領(lǐng)域得到廣泛應(yīng)用。雖然在移動互聯(lián)網(wǎng)領(lǐng)域也出現(xiàn)了部分應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)的實例，但是該類應(yīng)用仍然有很多不足之處可以得到改進。比如以Dropbox為代表的基于個人云服務(wù)的應(yīng)用采用了以定長切分算法(FSP)為基礎(chǔ)的數(shù)據(jù)塊級別的重復(fù)數(shù)據(jù)刪除算法，此方法雖然簡單有效，但是對于增加數(shù)據(jù)和刪除數(shù)據(jù)的操作敏感性太高

4、，從而影響了數(shù)據(jù)去重率。
　　本文提出將多種重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用于移動互聯(lián)網(wǎng)領(lǐng)域，以數(shù)據(jù)去重率和移動終端設(shè)備性能損耗兩方面作為主要衡量標(biāo)準(zhǔn)，面向移動互聯(lián)平臺對重復(fù)數(shù)據(jù)刪除算法進行深入的研究和優(yōu)化。主要完成了以下兩方面工作:第一，結(jié)合移動互聯(lián)網(wǎng)在移動終端性能和網(wǎng)絡(luò)接入等多方面的限制，綜合數(shù)據(jù)去重率和機器開銷兩方面因素，選取適用于移動互聯(lián)網(wǎng)的最優(yōu)重復(fù)數(shù)據(jù)刪除算法進行深入研究和優(yōu)化;第二，采集多種類型的文件作為樣本，對移動互聯(lián)平臺的最優(yōu)