基于對象的分布式文件系統(tǒng)中事務(wù)性存儲設(shè)備的研究與實現(xiàn).pdf

1、云技術(shù)的快速發(fā)展使得人們能夠越來越方便的獲得計算和存儲資源。而智能手持設(shè)備的普及，使得人們能越來越方便的獲取和產(chǎn)生數(shù)據(jù)，由于智能手持設(shè)備本身的局限性，使得人們越來越多的依賴于云計算系統(tǒng)。因此如何保證云計算系統(tǒng)中數(shù)據(jù)的可靠性是一個非常重要和急需解決的問題。
　　 事務(wù)機制是提高數(shù)據(jù)可靠性的重要方式。作者在清華大學(xué)高性能計算研究所參與屬于863重點項目“海量存儲系統(tǒng)關(guān)鍵技術(shù)”的對象分布式文件系統(tǒng)—Mangix研發(fā)，具體負(fù)責(zé)對象存儲設(shè)

2、備上事務(wù)機制的研究與實現(xiàn)，通過在對象存儲設(shè)備中增加事務(wù)機制，提高數(shù)據(jù)的可靠性，同時通過構(gòu)建數(shù)據(jù)與元數(shù)據(jù)緩存，提高存儲設(shè)備的I/O性能。主要內(nèi)容包括:
　　 1)在分析分布式文件系統(tǒng)中數(shù)據(jù)和元數(shù)據(jù)的訪問與管理特點以及SSD設(shè)備特性的基礎(chǔ)上，針對對象存儲系統(tǒng)和SSD設(shè)備的特性，設(shè)計了事務(wù)性對象存儲設(shè)備的結(jié)構(gòu)。
　　 2)在分析基于對象分布式文件系統(tǒng)中固態(tài)存儲設(shè)備可靠性問題的基礎(chǔ)上，針對SSD的組織特性，設(shè)計了基于對象的數(shù)據(jù)緩

3、存策略;在分析現(xiàn)有OSD命令傳遞方法的基礎(chǔ)上，設(shè)計了支持事務(wù)的OSD命令集;利用SSD異地更新的特性，引入兩階段提交協(xié)議，提出并設(shè)計了基于RAID5的數(shù)據(jù)寫事務(wù)機制。實現(xiàn)了支持RAID5數(shù)據(jù)寫事務(wù)機制的對象存儲設(shè)備原型系統(tǒng)，使用存儲系統(tǒng)性能通用測試工具postmark產(chǎn)生郵件和電子商務(wù)類型的大量小文件負(fù)載，測試了原型系統(tǒng)的IOPS和吞吐率，驗證了基于RAID5數(shù)據(jù)寫事務(wù)機制在提高對象存儲設(shè)備可靠性的同時，還能提高90％左右的性能。

4、>　　 3)針對分布式文件系統(tǒng)中元數(shù)據(jù)操作需要多個不同存儲節(jié)點共同完成的特性，提出并設(shè)計了基于組合操作的元數(shù)據(jù)事務(wù)機制和基于對象的元數(shù)據(jù)緩存策略;設(shè)計了事務(wù)性元數(shù)據(jù)操作處理策略、事務(wù)日志和提交消息處理策略、消息控制策略。在支持RAID5數(shù)據(jù)寫事務(wù)機制對象存儲設(shè)備原型系統(tǒng)的基礎(chǔ)上，增加了基于組合操作的元數(shù)據(jù)事務(wù)機制，使用存儲系統(tǒng)通用測試工具postmark產(chǎn)生郵件和電子商務(wù)類型的大量小文件負(fù)載，測試了原型系統(tǒng)的IOPS和吞吐率，結(jié)果顯示