Hadoop平臺(tái)下文件副本存儲(chǔ)改進(jìn)及小文件合并存取優(yōu)化的研究.pdf

1、分類號(hào)密級(jí)UDC學(xué)校代碼10497學(xué)位論文題目Hadoop平臺(tái)下文件副本存儲(chǔ)改進(jìn)及小文件合并存取優(yōu)化的研究英文ResearchofImprovingStageofReplicaSmallFiles題目MergingAccessOptimizationonHadoopPlatfm研究生姓名李宇文姓名李玉強(qiáng)職稱副教授學(xué)位博士單位名稱計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院郵編430063申請(qǐng)學(xué)位級(jí)別碩士學(xué)科專業(yè)名稱軟件工程論文提交日期2015年04月論文答辯日

2、期2015年05月學(xué)位授予單位武漢理工大學(xué)學(xué)位授予日期答辯委員會(huì)主席評(píng)閱人2015年5月指導(dǎo)教師武漢理工大學(xué)碩士學(xué)位論文I摘要近年來，“大數(shù)據(jù)”技術(shù)已經(jīng)逐漸成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)問題。而Hadoop作為處理大數(shù)據(jù)的開發(fā)平臺(tái)之一，不僅給我們帶來了廉價(jià)的處理大數(shù)據(jù)的能力，同時(shí)還實(shí)現(xiàn)了代碼開源化。其中，HDFS作為Hadoop最底層的分布式文件系統(tǒng)，存儲(chǔ)著集群中所有存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)，它除了為MapReduce提供了高效的讀寫性能外，還有著

3、高容錯(cuò)性和高吞吐量的特點(diǎn)。但是，HDFS對(duì)于這種多副本的存儲(chǔ)設(shè)計(jì)采用了串行流水線式的存儲(chǔ)方式，其制約了副本在HDFS中的存儲(chǔ)性能。同時(shí)，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，海量小文件的數(shù)據(jù)急劇增多，Hadoop秉承存儲(chǔ)海量大文件的設(shè)計(jì)理念，在海量小文件的處理上嚴(yán)重制約了其存取性能。為此，本文針對(duì)上述兩個(gè)問題展開了深入的研究，主要的工作內(nèi)容及創(chuàng)新點(diǎn)總結(jié)如下：本文針對(duì)HDFS中副本的串行存儲(chǔ)方式所表現(xiàn)出來存儲(chǔ)效率低下的問題，并根據(jù)相關(guān)研究人員提出的并

4、行化存儲(chǔ)方法，提出一種新的設(shè)計(jì)方案。結(jié)合該方案的優(yōu)化設(shè)計(jì)思想，深入詳細(xì)地分析了HDFS下的存儲(chǔ)架構(gòu)，以及相關(guān)類和數(shù)據(jù)塊的結(jié)構(gòu)，找到需要改進(jìn)之處。通過創(chuàng)建與pipeline管道中所有DataNode節(jié)點(diǎn)的socket連接，實(shí)現(xiàn)了文件副本的并行存儲(chǔ)。針對(duì)海量小文件嚴(yán)重制約Hadoop的IO性能的問題，本文提出在基于Hadoop下自帶的SequenceFile合并方案的基礎(chǔ)上，實(shí)現(xiàn)基于B樹索引的小文件讀取方案，在提高小文件查找效率的同時(shí)，降低

5、了小文件的元數(shù)據(jù)對(duì)NameNode節(jié)點(diǎn)內(nèi)存空間的占用率，從而提高小文件的讀取效率。在該方案的實(shí)現(xiàn)中，本文首先給出了B樹索引結(jié)構(gòu)的設(shè)計(jì)。其次，針對(duì)B樹索引的構(gòu)建與查找功能做了詳細(xì)的分析與實(shí)現(xiàn)。最后，結(jié)合對(duì)HDFS文件讀取過程的分析，實(shí)現(xiàn)了SequenceFile下基于B樹索引的小文件讀取過程。最后，搭建Hadoop系統(tǒng)集群，通過一系列的仿真實(shí)驗(yàn)，驗(yàn)證了本文所提出的兩個(gè)設(shè)計(jì)方案在文件的存儲(chǔ)速率和小文件的讀取速率上是有效的。關(guān)鍵字：關(guān)鍵字：H