分布式存儲系統(tǒng)數(shù)據(jù)安全及性能研究.pdf

1、隨著數(shù)據(jù)量的指數(shù)式增長，傳統(tǒng)集中式存儲已經(jīng)不能滿足業(yè)務(wù)需要。與集中式存儲不同，分布式存儲通過網(wǎng)絡(luò)將每臺普通計算機的存儲資源統(tǒng)一管理起來并整合成一個能通過互聯(lián)網(wǎng)以存儲接口的形式對外提供存儲服務(wù)的虛擬存儲設(shè)備，因此擁有極強的可用性、可擴展性。Ceph是一種基于對象存儲的分布式存儲系統(tǒng)。由于采用了對象存儲的方式，其數(shù)據(jù)處理過程高度并行化，通過添加普通服務(wù)器至集群，Ceph可輕松將存儲規(guī)模擴展至PB級，而作為核心算法之一的CRUSH(Contr

2、olled Replication Under Scalable Hashing)能動態(tài)計算數(shù)據(jù)存儲位置，實現(xiàn)了元數(shù)據(jù)服務(wù)器的功能，使之成為了一個沒有單點故障的系統(tǒng)。但是CRUSH算法并沒有考慮到不同網(wǎng)絡(luò)狀況下的存儲效率問題，并且CRUSH算法中默認使用的StrawBucker存儲類型并不適用于大量的查詢操作的使用環(huán)境，而其中的Treebucket類型在數(shù)據(jù)遷移時，遷移量過大。針對這些缺陷，本文做了如下工作：
　　1.Ceph默認

3、采用的Primary-Replica模型來進行讀寫操作，這將會導(dǎo)致系統(tǒng)在進行寫操作時出現(xiàn)瓶頸效應(yīng)，而且節(jié)點的權(quán)重僅與存儲容量有關(guān)，沒有考慮網(wǎng)絡(luò)延時對存儲性能的影響。本文針對這一問題提出了基于網(wǎng)絡(luò)延時的CEPH存儲性能優(yōu)化方法。該方法可以在節(jié)點網(wǎng)絡(luò)狀況不佳時動態(tài)調(diào)整節(jié)點權(quán)重，控制流入該節(jié)點的數(shù)據(jù)量，使數(shù)據(jù)較大概率存入網(wǎng)絡(luò)時延小的節(jié)點，達到提升系統(tǒng)性能的目的。
　　2.Ceph中的各節(jié)點都必須在同一個網(wǎng)段內(nèi)，當某一臺服務(wù)器被攻陷后，很

4、有可能所有的服務(wù)器都被攻陷，數(shù)據(jù)的安全性得不到有效保障。對此本文考慮了數(shù)據(jù)需要安全存放、保護用戶隱私等多方面原因，設(shè)計并初步實現(xiàn)了一個面向多個云中心的分布式存儲系統(tǒng)。數(shù)據(jù)文件通過本系統(tǒng)可以將文件分散存儲至多個云中心，以此保證某一云中心被攻破后并不能還原成一個完整的文件。并且針對節(jié)點失效時數(shù)據(jù)的遷移效率問題研究了兩種存儲拓撲構(gòu)建及容災(zāi)方案，能分別提升數(shù)據(jù)遷移速度和減少遷移量：
　　(1)基于云中心的雙層拓撲構(gòu)建方案。
　　普通

5、數(shù)據(jù)中心通常采用樹狀的層次結(jié)構(gòu)來描述存儲拓撲，多副本模式下，源數(shù)據(jù)與備份數(shù)據(jù)被存儲在不同的葉子節(jié)點內(nèi)，節(jié)點失效時數(shù)據(jù)將在任意葉子節(jié)點內(nèi)進行遷移。而在面向多個云的存儲環(huán)境下，源數(shù)據(jù)與備份數(shù)據(jù)將有可能存儲在不同的云中心中，節(jié)點失效時的數(shù)據(jù)遷移路徑將可能跨過多個云，此時的遷移效率主要取決于互聯(lián)網(wǎng)帶寬影響。為提升多云環(huán)境下節(jié)點失效時的數(shù)據(jù)遷移效率，本文提出了一種基于云中心的雙層拓撲構(gòu)建方案并實現(xiàn)了初步的原型，當節(jié)點失效時數(shù)據(jù)不會跨云進行數(shù)據(jù)遷移