云存儲引擎的設(shè)計與實現(xiàn).pdf

1、近年來，隨著互聯(lián)網(wǎng)技術(shù)的的高速發(fā)展和廣泛應(yīng)用，人類活動的每時每刻都會有大量的數(shù)據(jù)產(chǎn)生并進(jìn)入計算機(jī)系統(tǒng)，我們將這些數(shù)據(jù)進(jìn)行存儲、分析和挖掘，并基于這些數(shù)據(jù)來提供各種多樣化、個性化的應(yīng)用和服務(wù)，這就是已經(jīng)到來的云計算時代。云存儲作為云計算的延伸和發(fā)展，其實質(zhì)是向用戶提供以網(wǎng)絡(luò)為基礎(chǔ)的在線存儲服務(wù)，在大數(shù)據(jù)背景下，對海量數(shù)據(jù)的存儲是云計算最基礎(chǔ)的要求，當(dāng)前大多是利用分布式環(huán)境來進(jìn)行組織存儲。但隨著數(shù)據(jù)量的爆炸式增長，以及人們對數(shù)據(jù)要求的提高，

2、當(dāng)前的分布式架構(gòu)也面臨著高擴(kuò)展性和高可用性的挑戰(zhàn)。
　　本文主要研究并實現(xiàn)了一個分布式文件系統(tǒng),并基于該系統(tǒng)提供了一個云存儲引擎。該系統(tǒng)以HDFS和Ceph為基礎(chǔ)，通過將元數(shù)據(jù)節(jié)點(diǎn)（Name Node）進(jìn)行分布式化的研究，最終提出了一個具有良好擴(kuò)展性的架構(gòu)，使得系統(tǒng)理論上具備支撐數(shù)億級別的文件數(shù)據(jù)存儲的能力。同時，通過對一些具有良好可用性系統(tǒng)的調(diào)研與分析，提出了一個適合本系統(tǒng)的高可用架構(gòu)。系統(tǒng)通過使用 Libevent+threa

3、d pool來提高對網(wǎng)絡(luò)響應(yīng)的高并發(fā)異步 I/O處理，并利用流水線寫數(shù)據(jù)技術(shù)來提高網(wǎng)絡(luò)帶寬的利用率。系統(tǒng)中的文件是以塊的形式分布在數(shù)據(jù)服務(wù)器節(jié)點(diǎn)（Data Node）之中，每個塊通過冗余存儲在其他數(shù)據(jù)節(jié)點(diǎn)中保存了副本，從而保障了文件的安全性，防止了節(jié)點(diǎn)宕機(jī)時導(dǎo)致文件丟失。最后，該系統(tǒng)還支持集群新節(jié)點(diǎn)的注冊和動態(tài)增加服務(wù)，具有良好的擴(kuò)展性。
　　本文主要完成的工作有：
　　1、設(shè)計并實現(xiàn)了一個分布式文件系統(tǒng)，并基于該系統(tǒng)提供了