基于對(duì)象存儲(chǔ)的文件系統(tǒng)存儲(chǔ)策略與機(jī)制研究.pdf

1、隨著信息技術(shù)的高速發(fā)展，業(yè)界較多采用了以集群為代表的分布式并行文件系統(tǒng)來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的分布存儲(chǔ)及并行處理，應(yīng)用領(lǐng)域也由計(jì)算密集型領(lǐng)域逐漸轉(zhuǎn)向于數(shù)據(jù)密集型領(lǐng)域，對(duì)存儲(chǔ)系統(tǒng)的I/O性能提出了巨大的挑戰(zhàn)。基于對(duì)象存儲(chǔ)文件系統(tǒng)通過(guò)改進(jìn)的存儲(chǔ)體系結(jié)構(gòu)，支持大并發(fā)的存儲(chǔ)訪問(wèn)，保證了文件系統(tǒng)的高性能、高可用性，在高速集群網(wǎng)絡(luò)環(huán)境下，文件的存儲(chǔ)策略與元數(shù)據(jù)管理機(jī)制勢(shì)必會(huì)影響到文件讀寫(xiě)效率，因而研究實(shí)現(xiàn)更加高效、合理的分布式數(shù)據(jù)存儲(chǔ)策略、元數(shù)據(jù)管理策略，

2、進(jìn)一步提高基于對(duì)象存儲(chǔ)系統(tǒng)性能，使其更加適應(yīng)于高性能計(jì)算領(lǐng)域和數(shù)據(jù)密集型領(lǐng)域的應(yīng)用尤為重要。
　　 本文以典型的基于對(duì)象存儲(chǔ)的文件系統(tǒng)Lustre作為主要研究對(duì)象，具體完成以下研究工作：首先，閱讀了Lustre文件系統(tǒng)源代碼，分析其對(duì)象存儲(chǔ)的體系結(jié)構(gòu)、特點(diǎn)、存儲(chǔ)機(jī)制等，并且通過(guò)多組實(shí)驗(yàn)對(duì)對(duì)象存儲(chǔ)系統(tǒng)性能進(jìn)行測(cè)試及分析，從而驗(yàn)證了影響系統(tǒng)性能的重要因素。其次，研究了現(xiàn)有對(duì)象存儲(chǔ)技術(shù)中的數(shù)據(jù)存儲(chǔ)策略，針對(duì)現(xiàn)有對(duì)象存儲(chǔ)文件系統(tǒng)的存儲(chǔ)策

3、略并未充分考慮存儲(chǔ)對(duì)象本身負(fù)載的動(dòng)態(tài)變化、系統(tǒng)資源利用率低的問(wèn)題，論文綜合考慮影響系統(tǒng)性能的存儲(chǔ)對(duì)象剩余空間及I/O負(fù)載等重要負(fù)載因素的實(shí)時(shí)變化，給出了一種靈活、高效、簡(jiǎn)單的負(fù)載均衡存儲(chǔ)策略，并進(jìn)行了實(shí)現(xiàn)，實(shí)驗(yàn)證明該策略能夠有效地避免過(guò)載節(jié)點(diǎn)再次分配任務(wù)，從而有效地均衡系統(tǒng)負(fù)載，提高了系統(tǒng)整體性能。最后，本文針對(duì)現(xiàn)有對(duì)象存儲(chǔ)系統(tǒng)中元數(shù)據(jù)管理集群缺乏靈活的負(fù)載均衡機(jī)制、元數(shù)據(jù)訪問(wèn)效率不高的問(wèn)題，本文給出了子群的元數(shù)據(jù)管理模式，使用SUBI