重復(fù)數(shù)據(jù)并行化研究.pdf

1、當(dāng)前，數(shù)據(jù)量的爆炸式增長使得對(duì)于存儲(chǔ)的需求越來越大，而同時(shí)被存儲(chǔ)的數(shù)據(jù)內(nèi)部存在大量的冗余(例如數(shù)據(jù)備份系統(tǒng)生成的數(shù)據(jù))，造成系統(tǒng)存儲(chǔ)空間的浪費(fèi)。重復(fù)數(shù)據(jù)刪除技術(shù)的出現(xiàn)緩解了冗余數(shù)據(jù)問題，大大提高了存儲(chǔ)利用率，因而受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。目前最為火熱的虛擬化領(lǐng)域和云計(jì)算領(lǐng)域，對(duì)消除數(shù)據(jù)冗余同樣有著迫切的需求，因此重復(fù)數(shù)據(jù)刪除技術(shù)已成為目前存儲(chǔ)領(lǐng)域的一個(gè)研究熱點(diǎn)，其中對(duì)于重復(fù)數(shù)據(jù)刪除系統(tǒng)吞吐率的研究最受關(guān)注。以往的研究都是通過減少磁盤

2、訪問來提高系統(tǒng)吞吐率的，本文研究發(fā)現(xiàn)當(dāng)磁盤訪問這一系統(tǒng)系統(tǒng)性能瓶頸被消除之后，系統(tǒng)的性能還是會(huì)受到系統(tǒng)中計(jì)算密集型任務(wù)的影響。如何降低計(jì)算任務(wù)對(duì)重復(fù)數(shù)據(jù)刪除系統(tǒng)的影響是本文的研究重點(diǎn)。
　　 本文采取了一系列技術(shù)手段來對(duì)重復(fù)數(shù)據(jù)刪除系統(tǒng)進(jìn)行并行優(yōu)化。首先，系統(tǒng)引入了流水線技術(shù)來提高重復(fù)數(shù)據(jù)刪除過程中計(jì)算任務(wù)的并發(fā)度，提高系統(tǒng)的整體性能。本文給出了詳細(xì)的重復(fù)數(shù)據(jù)刪除流水線設(shè)計(jì)方案和流水線平衡性解決方案。其次，本文將協(xié)處理器引入重復(fù)

3、數(shù)據(jù)刪除系統(tǒng)來加速計(jì)算密集型任務(wù)，降低CPU的計(jì)算負(fù)載。本文引入PadLock加速重復(fù)數(shù)據(jù)刪除過程中的摘要計(jì)算和數(shù)據(jù)加密工作，引入GPU來降低Bloom filter計(jì)算和數(shù)據(jù)壓縮計(jì)算的執(zhí)行時(shí)間。上述兩個(gè)措施提高了重復(fù)數(shù)據(jù)刪除系統(tǒng)的并發(fā)度，降低了計(jì)算任務(wù)對(duì)系統(tǒng)性能的影響，很好地提升了系統(tǒng)的性能。
　　 本文設(shè)計(jì)了調(diào)整流水線執(zhí)行順序來提高重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)集適應(yīng)性的解決方案。通過調(diào)整流水線的執(zhí)行順序使得系統(tǒng)在不同的數(shù)據(jù)集上都能發(fā)