混合型分布式存儲(chǔ)系統(tǒng)中的存儲(chǔ)策略研究與實(shí)現(xiàn).pdf

1、隨著航天事業(yè)的不斷發(fā)展，人造衛(wèi)星的發(fā)射數(shù)量急劇增加。人造衛(wèi)星不斷地對(duì)地球和太空環(huán)境進(jìn)行探測(cè)和監(jiān)控，產(chǎn)生海量數(shù)據(jù)?，F(xiàn)有的衛(wèi)星數(shù)據(jù)存儲(chǔ)系統(tǒng)需要將衛(wèi)星數(shù)據(jù)發(fā)回地面站進(jìn)行存儲(chǔ)和處理，通信效率和實(shí)時(shí)性低，不能滿足日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)和處理需要。衛(wèi)星收集到的數(shù)據(jù)數(shù)量龐大、形式多樣且包含多種結(jié)構(gòu)，需要運(yùn)用多個(gè)存儲(chǔ)系統(tǒng)進(jìn)行分別存儲(chǔ)，操作十分復(fù)雜。因此需要建立一個(gè)高軌道衛(wèi)星集群存儲(chǔ)系統(tǒng)，在星上進(jìn)行分布式數(shù)據(jù)存儲(chǔ)，混合存儲(chǔ)各類不同的數(shù)據(jù)，為星上應(yīng)用提供統(tǒng)一的

2、數(shù)據(jù)服務(wù)。
　　本文基于對(duì)現(xiàn)有各類存儲(chǔ)系統(tǒng)的研究，提出了混合型分布式存儲(chǔ)系統(tǒng)，結(jié)合關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)等多種存儲(chǔ)形式，對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行統(tǒng)一的操作。設(shè)計(jì)混合存儲(chǔ)管理模型，通過數(shù)據(jù)類型服務(wù)端對(duì)不同數(shù)據(jù)結(jié)構(gòu)的各個(gè)數(shù)據(jù)類型進(jìn)行存儲(chǔ)，對(duì)上層應(yīng)用提供統(tǒng)一的客戶端接口用于進(jìn)行數(shù)據(jù)操作?；旌洗鎯?chǔ)管理模型作為各類存儲(chǔ)系統(tǒng)與上層應(yīng)用之間的中間層，在客戶端接口與實(shí)際各個(gè)存儲(chǔ)系統(tǒng)接口之間進(jìn)行轉(zhuǎn)換，提供與多個(gè)存

3、儲(chǔ)系統(tǒng)等效的數(shù)據(jù)服務(wù)。
　　分布式文件系統(tǒng)通過副本技術(shù)為數(shù)據(jù)進(jìn)行冗余備份，提高容錯(cuò)性并平衡負(fù)載。根據(jù)研究文件數(shù)據(jù)的讀取會(huì)有冷熱之分，現(xiàn)有副本策略不能很好利用文件熱度的特性，對(duì)存儲(chǔ)空間消耗過大，不適用于衛(wèi)星環(huán)境。本文進(jìn)行了動(dòng)態(tài)副本存儲(chǔ)策略的設(shè)計(jì)，通過數(shù)據(jù)觀測(cè)周期內(nèi)的讀取頻率對(duì)文件的熱度進(jìn)行區(qū)分，并根據(jù)文件的熱度動(dòng)態(tài)調(diào)整文件的副本個(gè)數(shù)。針對(duì)衛(wèi)星環(huán)境下衛(wèi)星站點(diǎn)間通信速度低于衛(wèi)星站點(diǎn)內(nèi)通信速度的特征，考慮節(jié)點(diǎn)間距離和負(fù)載的影響，設(shè)計(jì)了副本