Hadoop分布式文件系統(tǒng)下載策略改進研究.pdf

1、分類號TP3115密級公開重慶郵電大學碩士學位論文論文題目Hadoop分布式文件系統(tǒng)下載篆堅墮壟墮窒英文題目ResearchontheStrategytoImprovetheHadoopDistributedFileSystemDownloadingPerformance碩士研究生蔣仁祥學科專業(yè)計算機軟件與理論論文提交日期2Q曼2生壘且論文答辯日期2Q堇2璽5目2亟目論文評閱人答辯委員會主席王越教授重慶理工大學2012年5月重慶郵電大學

2、碩士論文摘要摘要Hadoop是當今應用最為廣泛的開源云計算平臺，主要由Hadoop分布式文件系統(tǒng)(HDFS，HadoopDistributedFileSystem)和MapReduce框架組成。當前Hadoop分布式文件系統(tǒng)采取的下載策略使客戶端在從文件系統(tǒng)下載文件過程中下載效率低下而且不利于集群負載均衡，導致用戶對Hadoop分布式文件系統(tǒng)的體驗感受較差。為了解決Hadoop分布式文件系統(tǒng)存在的上述問題，本文基于并行下載思想，分別設計

3、出：(1)文件級并行下載策略，在下載文件過程中，并行下載文件每個數(shù)據(jù)塊：(2)數(shù)據(jù)塊級并行下載策略，在下載文件的某個數(shù)據(jù)塊時，從多個節(jié)點并行下載數(shù)據(jù)塊：(3)應用了一種速度自適應的動態(tài)并行下載機制的并行下載策略，在下載文件數(shù)據(jù)塊的過程中，客戶端同多個數(shù)據(jù)節(jié)點建立連接并行下載數(shù)據(jù)塊，并根據(jù)各連接帶寬比，動態(tài)分配下載任務。這三種下載策略在下載效率和集群負載均衡方面均優(yōu)于Hadoop分布式文件系統(tǒng)的原始下載策略。策略(1)的下載效率和文件數(shù)據(jù)

4、塊在HDFS中的分布息息相關；策略(2)在文件數(shù)據(jù)塊副本系數(shù)較大的情況下下載效率較高，且實現(xiàn)復雜度較低；策略(3)的綜合下載性能最優(yōu)，能夠根據(jù)網(wǎng)絡帶寬的變化動態(tài)重分配下載任務。本文實驗中，用10臺PC機搭建了一個小型Hadoop平臺，在此平臺上進行改進前和改進后的Hadoop分布式文件系統(tǒng)下載性能對比實驗。實驗主要從Hadoop分布式文件系統(tǒng)的原始策略和改進后的每種策略的下載時間和集群負載均衡兩方面進行對比分析。實驗證明，在相同條件下改