基于HDFS的云存儲系統(tǒng)的實現(xiàn)與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，數(shù)據(jù)量呈指數(shù)級增長，海量數(shù)據(jù)的存儲與分析已成為非常熱門的研究領(lǐng)域。Hadoop分布式文件系統(tǒng)HDFS是一個可擴展的分布式文件系統(tǒng)，可以在廉價的硬件上運行，并具有可靠的容錯能力，正受到越來越多的企業(yè)和科研機構(gòu)青睞。目前，基于HDFS研發(fā)云存儲系統(tǒng)、解決大規(guī)模數(shù)據(jù)存儲的需求也越來越多。本文研究的正是基于HDFS設(shè)計“合肥城市云”存儲系統(tǒng)。
　　然而，由于HDFS本身的架構(gòu)設(shè)計，大量的小文件存儲會給名字節(jié)點Name

2、node造成巨大的內(nèi)存壓力，從而限制了集群的文件存儲數(shù)量和讀寫效率。Namenode的單點故障問題也會影響到HDFS的高可用性。為了解決以上問題，在進行大量調(diào)研和學習HDFS系統(tǒng)架構(gòu)和內(nèi)部流程的實現(xiàn)機制的基礎(chǔ)上，提出有效解決方案。本文的主要工作如下:
　　1、針對小文件存儲問題，提出了ABFM優(yōu)化方案。根據(jù)文件之間的相關(guān)性按優(yōu)先級高低合并后再上傳，并生成索引記錄。加入隨機化思想，采用兩級緩存策略，將預(yù)提取的小文件緩存在內(nèi)存池中。系

3、統(tǒng)會定期查詢訪問日志，動態(tài)調(diào)整預(yù)提取概率。和默認方案、系統(tǒng)自帶的HAR方案進行實驗對比，結(jié)果表明，ABFM策略能有效提高小文件訪問效率，降低名字節(jié)點和數(shù)據(jù)節(jié)點的內(nèi)存開銷。
　　2、針對Namenode單點故障問題，調(diào)研了幾種主流的解決方案，最終選取基于QJM的Namenode高可用方案。深入學習該方案的系統(tǒng)架構(gòu)和內(nèi)部原理，詳細描述了搭建過程，并給出了搭建成功后的系統(tǒng)界面效果展示。
　　3、結(jié)合企業(yè)需求，設(shè)計并實現(xiàn)了基于高可用

4、HDFS的“合肥城市云”存儲系統(tǒng)。系統(tǒng)共有三個模塊，分別是加入了小文件優(yōu)化方案的B/S訪問模塊、NFS訪問模塊和后臺管理系統(tǒng)模塊。用戶可以通過B/S模式和NFS模式訪問云存儲系統(tǒng)。系統(tǒng)管理員能夠?qū)τ脩暨M行安全認證、配額管理、凍結(jié)和解凍以及處理擴容請求等操作，有效彌補了HDFS這些方面的不足，方便企業(yè)、用戶使用和管理。
　　4、采用黑盒測試方法，對“合肥城市云”系統(tǒng)的B/S訪問模式和NFS訪問模式進行功能測試和性能測試，保證系統(tǒng)能夠