基于MooseFS分布式存儲策略的研究與實現(xiàn).pdf

1、當(dāng)前互聯(lián)網(wǎng)時代的快速發(fā)展，使信息資源呈現(xiàn)出爆炸性增長趨勢，網(wǎng)絡(luò)和數(shù)據(jù)已經(jīng)滲透到人們生活的方方面面。云計算和互聯(lián)網(wǎng)應(yīng)用產(chǎn)生了海量數(shù)據(jù)，對數(shù)據(jù)存儲和數(shù)據(jù)分析技術(shù)提出了更高的需求。傳統(tǒng)的存儲模式存在的問題也逐漸呈現(xiàn)出來，諸如對數(shù)據(jù)的可管理性較差、系統(tǒng)可擴(kuò)展性低、存儲容量有限、升級維護(hù)成本較高等問題。分布式存儲技術(shù)可以有效地解決以上問題，其技術(shù)關(guān)鍵是應(yīng)用分布式文件系統(tǒng)，以滿足大規(guī)模數(shù)據(jù)對存儲容量的需求，并具有冗余存儲、高傳輸率、可在線擴(kuò)容等技術(shù)

2、優(yōu)點，可以同時滿足大規(guī)模用戶對存儲和訪問需求。
　　本文針對分布式存儲技術(shù)進(jìn)行研究，對MooseFS分布式文件系統(tǒng)的工作原理進(jìn)行了詳細(xì)分析，提出了分布式存儲策略的改進(jìn)方案，以優(yōu)化分布式文件系統(tǒng)的存儲和訪問性能。并針對視頻點播這一應(yīng)用場景，利用MooseFS分布式存儲平臺，部署了基于B/S架構(gòu)的視頻點播分布式存儲系統(tǒng)，可以分?jǐn)偡?wù)器端用戶的訪問壓力以及視頻文件的存儲壓力。
　　首先，對GFS、HDFS等典型文件系統(tǒng)進(jìn)行研究，分

3、析文件系統(tǒng)的架構(gòu)和工作原理。針對本文的研究場景，選擇對MooseFS分布式文件系統(tǒng)進(jìn)行深入研究。分析了MooseFS系統(tǒng)的工作原理，在此基礎(chǔ)上對其原有的存儲策略進(jìn)行了詳細(xì)分析，解析MooseFS存儲策略的源代碼，針對原有存儲策略存在的問題，創(chuàng)新性地提出了基于服務(wù)器性能評價函數(shù)的存儲策略改進(jìn)方法。系統(tǒng)在執(zhí)行存儲策略進(jìn)行存儲節(jié)點選擇時引入更多的服務(wù)器性能評價指標(biāo)，更全面地衡量當(dāng)前服務(wù)器的存儲性能，均衡服務(wù)器集群之間的存儲負(fù)載，以優(yōu)化Moos

4、eFS系統(tǒng)的存儲性能。
　　然后，針對視頻點播這一應(yīng)用場景，部署了基于B/S架構(gòu)的視頻點播分布式存儲系統(tǒng)。系統(tǒng)的設(shè)計實現(xiàn)分為兩部分，一部分是Web端基于B/S架構(gòu)的視頻點播模塊設(shè)計，另一部分是服務(wù)器端分布式存儲系統(tǒng)的設(shè)計。視頻點播模塊采用B/S架構(gòu)，用戶通過瀏覽器而不是復(fù)雜的應(yīng)用軟件實現(xiàn)視頻播放功能，可以節(jié)約系統(tǒng)資源。服務(wù)器端分布式存儲系統(tǒng)的部署，主要通過將服務(wù)器作為客戶端掛載到MooseFS分布式文件系統(tǒng)，實現(xiàn)視頻文件的分布式存

5、儲。
　　針對云計算快速發(fā)展的形勢下不斷增長的數(shù)據(jù)存儲需求，本文對基于MooseFS的分布式存儲相關(guān)技術(shù)進(jìn)行研究，通過改進(jìn)MooseFS的存儲策略，使系統(tǒng)存儲節(jié)點之間的數(shù)據(jù)分布更加均衡，提高了系統(tǒng)的服務(wù)器資源利用率。通過搭建視頻點播分布式存儲系統(tǒng)，可以滿足大量視頻文件對存儲容量的需求，有效地分?jǐn)傁到y(tǒng)的存儲壓力和并發(fā)訪問壓力。本文對基于MooseFS分布式存儲策略的研究和系統(tǒng)實現(xiàn)，對于分布式存儲技術(shù)的研究和服務(wù)器集群的性能優(yōu)化方面有