面向數(shù)據(jù)密集型應(yīng)用的存儲(chǔ)策略研究.pdf

1、隨著互聯(lián)網(wǎng)和信息收集技術(shù)的發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)量呈爆炸式增長，依賴于海量數(shù)據(jù)的數(shù)據(jù)密集型應(yīng)用也層出不窮。現(xiàn)今數(shù)據(jù)密集型應(yīng)用已在科學(xué)計(jì)算、互聯(lián)網(wǎng)數(shù)據(jù)處理、網(wǎng)絡(luò)媒體處理等領(lǐng)域受到廣泛關(guān)注。數(shù)據(jù)的存儲(chǔ)管理直接關(guān)系到數(shù)據(jù)密集型應(yīng)用的性能，因而成為當(dāng)前的重要研究內(nèi)容。
　　 隨著云計(jì)算概念和架構(gòu)的逐漸清晰，云計(jì)算平臺(tái)已經(jīng)成為數(shù)據(jù)集密集型應(yīng)用的首選部署平臺(tái)。在云計(jì)算環(huán)境下，數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)集與多個(gè)工作流有依賴關(guān)系，往往需要跨數(shù)據(jù)中心的數(shù)據(jù)

2、處理。當(dāng)前對(duì)存儲(chǔ)策略的研究主要以減少數(shù)據(jù)中心之間的流量為目標(biāo)，較少考慮費(fèi)用的消耗問題和多副本因素。與此同時(shí)，作為遺留應(yīng)用，傳統(tǒng)的數(shù)據(jù)密集型應(yīng)用仍然將數(shù)據(jù)存儲(chǔ)在單數(shù)據(jù)中心上，并采用分布式的存儲(chǔ)系統(tǒng)架構(gòu)。由于單數(shù)據(jù)中心內(nèi)部有高速網(wǎng)絡(luò)連接，此時(shí)的存儲(chǔ)策略主要考慮系統(tǒng)的容錯(cuò)性和吞吐能力，以及多副本放置問題。
　　 針對(duì)上述問題，本文分別對(duì)云計(jì)算環(huán)境和傳統(tǒng)存儲(chǔ)環(huán)境下的數(shù)據(jù)密集型應(yīng)用的存儲(chǔ)策略開展了研究，具體工作包括:
　　 1)在

3、云計(jì)算環(huán)境下，提出一種以減小費(fèi)用消耗為目標(biāo)的數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)存儲(chǔ)模型，分別提出基于最大流的數(shù)據(jù)存儲(chǔ)策略和基于副本創(chuàng)建的數(shù)據(jù)存儲(chǔ)策略。基于最大流的數(shù)據(jù)存儲(chǔ)策略將云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)的費(fèi)用消耗問題轉(zhuǎn)為帶有代價(jià)的網(wǎng)絡(luò)流問題，利用數(shù)據(jù)存儲(chǔ)的特性求解存儲(chǔ)部署的最小費(fèi)用。基于副本創(chuàng)建的策略則是在最大流策略上考慮了副本因素，進(jìn)一步降低了應(yīng)用的存儲(chǔ)部署代價(jià)。
　　 2)在單數(shù)據(jù)中心的存儲(chǔ)環(huán)境下，本文完善了分布式存儲(chǔ)系統(tǒng)LandHouse的

4、架構(gòu)，并根據(jù)Peterson存儲(chǔ)環(huán)的特性，提出了一種基于糾刪碼的數(shù)據(jù)分塊策略以及相應(yīng)的負(fù)載均衡算法來提高存儲(chǔ)系統(tǒng)的容錯(cuò)性和吞吐量。
　　 3)本文分別對(duì)兩種環(huán)境下的策略進(jìn)行了實(shí)驗(yàn)。對(duì)云計(jì)算環(huán)境下的存儲(chǔ)問題，實(shí)驗(yàn)結(jié)果證明本文提出的策略有效地減少了數(shù)據(jù)密集型應(yīng)用的費(fèi)用消耗。對(duì)于單數(shù)據(jù)中心，實(shí)驗(yàn)證明本文提出的數(shù)據(jù)分塊策略和負(fù)載均衡算法有效的提高了系統(tǒng)的容錯(cuò)性和吞吐量。
　　 “大數(shù)據(jù)”的存儲(chǔ)和處理是當(dāng)前的熱門研究課題，本文的工