云存儲引擎的設計與實現(xiàn).pdf

1、近年來，隨著互聯(lián)網(wǎng)技術(shù)的的高速發(fā)展和廣泛應用，人類活動的每時每刻都會有大量的數(shù)據(jù)產(chǎn)生并進入計算機系統(tǒng)，我們將這些數(shù)據(jù)進行存儲、分析和挖掘，并基于這些數(shù)據(jù)來提供各種多樣化、個性化的應用和服務，這就是已經(jīng)到來的云計算時代。云存儲作為云計算的延伸和發(fā)展，其實質(zhì)是向用戶提供以網(wǎng)絡為基礎的在線存儲服務，在大數(shù)據(jù)背景下，對海量數(shù)據(jù)的存儲是云計算最基礎的要求，當前大多是利用分布式環(huán)境來進行組織存儲。但隨著數(shù)據(jù)量的爆炸式增長，以及人們對數(shù)據(jù)要求的提高，

2、當前的分布式架構(gòu)也面臨著高擴展性和高可用性的挑戰(zhàn)。
　　本文主要研究并實現(xiàn)了一個分布式文件系統(tǒng),并基于該系統(tǒng)提供了一個云存儲引擎。該系統(tǒng)以HDFS和Ceph為基礎，通過將元數(shù)據(jù)節(jié)點（Name Node）進行分布式化的研究，最終提出了一個具有良好擴展性的架構(gòu)，使得系統(tǒng)理論上具備支撐數(shù)億級別的文件數(shù)據(jù)存儲的能力。同時，通過對一些具有良好可用性系統(tǒng)的調(diào)研與分析，提出了一個適合本系統(tǒng)的高可用架構(gòu)。系統(tǒng)通過使用 Libevent+threa

3、d pool來提高對網(wǎng)絡響應的高并發(fā)異步 I/O處理，并利用流水線寫數(shù)據(jù)技術(shù)來提高網(wǎng)絡帶寬的利用率。系統(tǒng)中的文件是以塊的形式分布在數(shù)據(jù)服務器節(jié)點（Data Node）之中，每個塊通過冗余存儲在其他數(shù)據(jù)節(jié)點中保存了副本，從而保障了文件的安全性，防止了節(jié)點宕機時導致文件丟失。最后，該系統(tǒng)還支持集群新節(jié)點的注冊和動態(tài)增加服務，具有良好的擴展性。
　　本文主要完成的工作有：
　　1、設計并實現(xiàn)了一個分布式文件系統(tǒng)，并基于該系統(tǒng)提供了