基于云存儲(chǔ)的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著在線存儲(chǔ)需求量的增長(zhǎng),各大云存儲(chǔ)公司開(kāi)始計(jì)費(fèi)模式的探索,只有付費(fèi)才能獲得更好的服務(wù),免費(fèi)的云存儲(chǔ)空間已經(jīng)不能滿足用戶的需求,云存儲(chǔ)的成本問(wèn)題已經(jīng)開(kāi)始影響用戶的工作生活。針對(duì)上述問(wèn)題,提出了一種基于云存儲(chǔ)的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)。
　　該系統(tǒng)是一個(gè)具有云存儲(chǔ)增量同步的用戶端文件系統(tǒng),采用重復(fù)數(shù)據(jù)刪除技術(shù),自動(dòng)將用戶的本地?cái)?shù)據(jù)無(wú)冗余上傳到云端。系統(tǒng)由六個(gè)模塊構(gòu)成,用戶接口模塊接收從Fuse內(nèi)核空間傳遞過(guò)來(lái)的系統(tǒng)請(qǐng)求,調(diào)用相關(guān)模塊完成

2、響應(yīng)。云端同步模塊利用云存儲(chǔ)開(kāi)放接口,配合系統(tǒng)各模塊進(jìn)行本地與云端數(shù)據(jù)同步。文件管理模塊從云端獲取文件列表,建立文件索引節(jié)點(diǎn),對(duì)文件進(jìn)行組織管理。文件操作模塊處理系統(tǒng)讀寫(xiě)請(qǐng)求。數(shù)據(jù)重刪模塊在源端進(jìn)行重復(fù)數(shù)據(jù)刪除,該模塊采用基于內(nèi)容的變長(zhǎng)切分算法,使用一個(gè)長(zhǎng)度固定的滑動(dòng)窗口對(duì)文件數(shù)據(jù)計(jì)算指紋,如果指紋模一個(gè)特定的整數(shù)等于預(yù)定的數(shù)值,就把窗口位置作為塊的邊界,若出現(xiàn)指紋相同的塊則認(rèn)為重復(fù)。將去重后的文件和記錄數(shù)據(jù)塊信息的元數(shù)據(jù)表上傳到云端。