云平臺(tái)下分布式文件系統(tǒng)評(píng)測(cè)技術(shù)研究.pdf

1、隨著云計(jì)算技術(shù)的不斷發(fā)展和普及，云存儲(chǔ)的概念也應(yīng)運(yùn)而生，而分布式文件系統(tǒng)是云存儲(chǔ)的核心基礎(chǔ)，承載著數(shù)據(jù)存儲(chǔ)的重任。另外一方面，隨著社會(huì)信息化程度的提高，對(duì)于信息和數(shù)據(jù)的依賴性也越來(lái)越大，也就是說(shuō)數(shù)據(jù)的可靠性越來(lái)越重要。而容錯(cuò)能力是衡量一個(gè)系統(tǒng)可靠性的重要標(biāo)準(zhǔn)，系統(tǒng)的容錯(cuò)能力越強(qiáng)，所能提供的服務(wù)也就越可靠。因此，對(duì)云平臺(tái)下分布式文件系統(tǒng)的容錯(cuò)能力進(jìn)行評(píng)測(cè)具有重要的研究意義。
　　目前國(guó)內(nèi)外對(duì)于云平臺(tái)下分布式文件系統(tǒng)的研究成果中，關(guān)于

2、性能測(cè)試與優(yōu)化的有很多，而涉及容錯(cuò)能力測(cè)試的比較少，并且測(cè)試手段比較單一。因此有必要針對(duì)云分布式文件系統(tǒng)的容錯(cuò)能力測(cè)試進(jìn)行深入的研究。
　　本文通過(guò)對(duì)HDFS（Hadoop Distributed File System）和TFS（Taobao File System）這兩種典型的云分布式文件系統(tǒng)的體系架構(gòu)、讀寫(xiě)流程和內(nèi)部的容錯(cuò)機(jī)制進(jìn)行深入的研究，通過(guò)對(duì)比它們的相同點(diǎn)，提出了一套云平臺(tái)下分布式文件系統(tǒng)容錯(cuò)能力測(cè)試方法。主要就是基于

3、故障注入的思想，設(shè)計(jì)并實(shí)現(xiàn)了一套故障注入工具集，分別針對(duì)云分布式文件系統(tǒng)的節(jié)點(diǎn)和進(jìn)程、文件和目錄、數(shù)據(jù)校驗(yàn)機(jī)制、內(nèi)部互聯(lián)的網(wǎng)絡(luò)進(jìn)行故障注入，模擬現(xiàn)實(shí)應(yīng)用中可能出現(xiàn)的各種類型的故障。
　　為了驗(yàn)證云平臺(tái)下分布式文件系統(tǒng)容錯(cuò)能力測(cè)試方法的可行性，本文搭建了一個(gè)小型的HDFS分布式文件系統(tǒng)，并以HDFS為例，進(jìn)行相關(guān)的故障注入實(shí)驗(yàn)。通過(guò)觀察實(shí)驗(yàn)現(xiàn)象和研究日志文件中記錄的異常情況，來(lái)對(duì)HDFS的容錯(cuò)能力進(jìn)行評(píng)測(cè)和驗(yàn)證，并對(duì)其中不足的地方提