Hadoop平臺(tái)存儲(chǔ)策略的研究與優(yōu)化.pdf

1、隨著經(jīng)濟(jì)、社會(huì)以及科學(xué)技術(shù)的發(fā)展，數(shù)字信息正在經(jīng)歷爆炸式的增長(zhǎng)。信息化和互聯(lián)網(wǎng)的發(fā)展以及廉價(jià)的存儲(chǔ)設(shè)備的出現(xiàn)，為海量信息存儲(chǔ)提供了動(dòng)力和物理基礎(chǔ)。數(shù)據(jù)量比較小的時(shí)候，存儲(chǔ)和備份數(shù)據(jù)比較簡(jiǎn)單，隨著數(shù)據(jù)量達(dá)到TB甚至PB級(jí)別，存儲(chǔ)和備份如此龐大的數(shù)據(jù)成為一個(gè)棘手的問(wèn)題，而且人們對(duì)數(shù)據(jù)的存儲(chǔ)效率和安全性的要求也在不斷的提高。如何高效的存儲(chǔ)和讀取數(shù)據(jù)成為人們關(guān)注的重點(diǎn)，云計(jì)算是目前比較成熟的方案，是對(duì)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)安全的一個(gè)有效解決辦法，能夠提

2、高數(shù)據(jù)的安全性和存儲(chǔ)速度。Hadoop是云計(jì)算里面比較流行的框架，具體高可靠性、高效性、高擴(kuò)展性和高容錯(cuò)性的優(yōu)勢(shì)。而且它是開(kāi)源框架，非常適合科研和應(yīng)用，所以本文選擇Hadoop框架作為云計(jì)算的研究對(duì)象。
　　基于如何高效存儲(chǔ)海量數(shù)據(jù)的問(wèn)題，本文在分析Hadoop的HDFS(HadoopDistributed File System)原理和存儲(chǔ)策略基礎(chǔ)上，結(jié)合實(shí)際應(yīng)用Hadoop平臺(tái)遇到的問(wèn)題，分析其HDFS文件系統(tǒng)數(shù)據(jù)存儲(chǔ)策略的局

3、限和不足，提出了HDFS分布式文件系統(tǒng)的優(yōu)化存儲(chǔ)策略DIFT(Dstat Iostat Free Top)。DIFT存儲(chǔ)策略利用更完善的數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)信息作為策略依據(jù)，能夠提高集群的磁盤和網(wǎng)絡(luò)帶寬的利用率，減少瓶頸出現(xiàn)的可能性，提高了系統(tǒng)性能，使集群具有更好的負(fù)載均衡和用戶體驗(yàn)。
　　本文主要研究?jī)?nèi)容是：首先對(duì)Hadoop的HDFS模型的原理研究和分析，從控制節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)、文件塊的數(shù)據(jù)結(jié)構(gòu)以及接口、類、方法的調(diào)用關(guān)系方面詳細(xì)分析

4、和研究，分析HDFS的運(yùn)行原理和功能的實(shí)現(xiàn)方法。其次從數(shù)據(jù)結(jié)構(gòu)、狀態(tài)信息、心跳協(xié)議等方面研究和設(shè)計(jì)DIFT存儲(chǔ)策略的實(shí)現(xiàn)，最后編譯含有DIFT存儲(chǔ)策略的Hadoop代碼，把DIFT存儲(chǔ)策略應(yīng)用到Hadoop集群上，實(shí)驗(yàn)驗(yàn)證和測(cè)試策略的效果。DIFT存儲(chǔ)策略具有可配置的特性，設(shè)計(jì)時(shí)充分考慮用戶實(shí)際情況的特殊性，用戶可以根據(jù)自己實(shí)際需求設(shè)置符合實(shí)際應(yīng)用的策略配置。實(shí)驗(yàn)證明，DIFT存儲(chǔ)策略提高了Hadoop的HDFS分布式文件系統(tǒng)的存儲(chǔ)效率