面向分布式文件系統(tǒng)的基準測試框架研究與設計.pdf

1、隨著云計算技術的不斷發(fā)展，需要存儲的數(shù)據(jù)正在以指數(shù)型增長，云平臺環(huán)境變得更加復雜和多樣化，人們對數(shù)據(jù)存儲性能的需求也日益上升和不斷改變。作為云平臺的基礎組件，分布式文件系統(tǒng)為整個云平臺提供了高效可靠的海量數(shù)據(jù)存儲能力，成為當前流行的數(shù)據(jù)存儲解決方案，因此分布式文件系統(tǒng)性能的優(yōu)化和提高對整個云平臺性能的提升至關重要。然而，當前并沒有針對分布式文件系統(tǒng)的通用評測框架，通過統(tǒng)計模擬的方式對復雜的云環(huán)境I/O負載進行真實地模擬。而且云環(huán)境I/O

2、負載的異質性以及分布式文件系統(tǒng)自身的復雜性使得其性能評測困難重重，如何對其進行真實高效地測試并使得測試報告能夠對系統(tǒng)的性能優(yōu)化、容量規(guī)劃等提供指導意義，已經成為當前的熱點研究問題。
　　在對分布式文件系統(tǒng)的評測過程中，本文其影響因素分為兩類，第一類是預設數(shù)據(jù)集，即如何預先生成文件、目錄等以對其進行I/O操作。在分布式文件系統(tǒng)中，元數(shù)據(jù)服務器對文件的元數(shù)據(jù)進行管理，數(shù)據(jù)的特征會影響其I/O操作的性能。因此，實驗數(shù)據(jù)集是非常重要的評測

3、因素。本文從文件副本數(shù)、目錄深度、文件數(shù)量、文件大小、文件類型等方面對其進行研究并驗證。
　　第二類是I/O請求到達模式。這也是非常重要的負載因素，然而許多的評測框架都把這些指標給簡化了，通常以固定速率或者泊松過程代替，這在云環(huán)境中是不合適的。為了解決這個問題，本文深入研究了云環(huán)境I/O請求特征，將其分成了四個部分：（1）I/O請求到達速率；（2）I/O請求到達時間間隔；（3）周期性；（4）I/O請求數(shù)據(jù)。這四個特征共同作用生成真