云存儲系統(tǒng)中數(shù)據(jù)分布研究.pdf

1、密級碩士學(xué)位論文題目題目云存儲系統(tǒng)中數(shù)據(jù)分布研究(英文英文)ResearchonDataDistributioninCloudStageSystem研究生學(xué)號:1402201054研究生姓名:康文杰指導(dǎo)教師姓名、職稱指導(dǎo)教師姓名、職稱:王勇（教授）申請學(xué)位門類:工學(xué)碩士學(xué)科、?？啤I(yè):信息與通信工程論文答辯日期:2017年6月摘要I摘要隨著社交網(wǎng)絡(luò)及物聯(lián)網(wǎng)的快速發(fā)展，個(gè)體及社會應(yīng)用產(chǎn)生的數(shù)據(jù)呈指數(shù)增長，海量數(shù)據(jù)的存儲需求日益強(qiáng)烈。傳統(tǒng)

2、的存儲模式無法應(yīng)對海量數(shù)據(jù)存儲需求的容量可擴(kuò)展性、數(shù)據(jù)可靠性以及高性能，云存儲系統(tǒng)在這種背景下應(yīng)運(yùn)而生。云存儲系統(tǒng)采用分布式文件系統(tǒng)等技術(shù)將不同的存儲設(shè)備通過網(wǎng)絡(luò)連接的方式匯集成一個(gè)資源池，統(tǒng)一提供存儲服務(wù)，具有高可擴(kuò)展性、高可靠性等優(yōu)點(diǎn)?，F(xiàn)有的面向云存儲的分布式文件系統(tǒng)有很多種，Ceph分布式文件系統(tǒng)以其開源性、提供統(tǒng)一存儲能力的特點(diǎn)在企業(yè)和科研領(lǐng)域得到廣泛關(guān)注。數(shù)據(jù)分布策略是分布式文件系統(tǒng)中關(guān)鍵技術(shù)，其決定了數(shù)據(jù)存儲位置以及系統(tǒng)的負(fù)

3、載均衡和容錯(cuò)性。CRUSH算法是Ceph分布式文件系統(tǒng)中的偽隨機(jī)數(shù)據(jù)分布算法，可以在異構(gòu)的大規(guī)模層級結(jié)構(gòu)化存儲集群中高效地分布數(shù)據(jù)對象及其副本。然而，CRUSH算法在存儲節(jié)點(diǎn)負(fù)載均衡的設(shè)計(jì)上存在不足，并沒有把底層網(wǎng)絡(luò)狀況和節(jié)點(diǎn)負(fù)載考慮在內(nèi)，當(dāng)存儲節(jié)點(diǎn)的網(wǎng)絡(luò)情況惡化后比如集群內(nèi)部進(jìn)行數(shù)據(jù)遷移會占用大量的網(wǎng)絡(luò)帶寬而目前系統(tǒng)中數(shù)據(jù)選擇存儲位置僅僅是以節(jié)點(diǎn)的存儲容量作為權(quán)重因子，這使得集群的性能明顯下降，降低系統(tǒng)的讀寫性能。因此，在CRUSH算

4、法中加入網(wǎng)絡(luò)狀態(tài)和節(jié)點(diǎn)負(fù)載的測量對提高負(fù)載均衡性具有非常重要的作用。傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)中，獲取網(wǎng)絡(luò)狀態(tài)需要繁瑣的配置和大量的測量開銷，軟件定義網(wǎng)絡(luò)作為新型網(wǎng)絡(luò)架構(gòu)采用控制平面和數(shù)據(jù)平面相分離，通過集中化的控制平面，SDN簡化了網(wǎng)絡(luò)測量和管理并提供靈活、高效的維護(hù)策略，因此論文采用SDN技術(shù)完成對網(wǎng)絡(luò)和節(jié)點(diǎn)負(fù)載的監(jiān)測。改進(jìn)后的CRUSH算法結(jié)合SDN技術(shù)能綜合考慮網(wǎng)絡(luò)和主機(jī)負(fù)載信息，設(shè)計(jì)出合理的數(shù)據(jù)分布策略。論文的主要?jiǎng)?chuàng)新性工作總結(jié)如下：(1

5、)針對CRUSH算法中權(quán)重因子只以存儲容量作為約束條件導(dǎo)致的存儲節(jié)點(diǎn)負(fù)載不均衡問題，提出改進(jìn)的CRUSH算法，在節(jié)點(diǎn)權(quán)重因子中添加網(wǎng)絡(luò)狀態(tài)和負(fù)載的因素，權(quán)重因子的確定具有更細(xì)的粒度。(2)在獲取節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)和負(fù)載狀態(tài)問題上，設(shè)計(jì)軟件定義網(wǎng)絡(luò)和Ceph分布式文件系統(tǒng)結(jié)合的架構(gòu)，通過對SDN控制器進(jìn)行應(yīng)用開發(fā)，提出主被動相結(jié)合的測量方式分別測量存儲節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)和負(fù)載狀態(tài)。論文通過大量的實(shí)驗(yàn)對提出的解決方案進(jìn)行測試，測試結(jié)果表明設(shè)計(jì)的SDN監(jiān)