基于Swift的海量小文件對象存儲研究.pdf

1、隨著互聯(lián)網(wǎng)快速發(fā)展，數(shù)據(jù)呈爆炸式增長，在當前眾多互聯(lián)網(wǎng)應(yīng)用場景中80％為小文件。相對于大文件，海量小文件的存取給文件系統(tǒng)帶來巨大的壓力，因此其存儲效率成為云存儲行業(yè)關(guān)注的重點問題。目前大多數(shù)分布式存儲系統(tǒng)在網(wǎng)絡(luò)通信、元數(shù)據(jù)訪問、數(shù)據(jù)布局等方面?zhèn)戎赜诖笪募?，對海量小文件的IOPS性能影響較大。而對象存儲作為一種新型分布式存儲架構(gòu)被工業(yè)界普遍使用，其中Swift作為對象存儲的實現(xiàn)范例在數(shù)據(jù)存取速度上有明顯優(yōu)勢，為提高海量小文件的存儲性能提供

2、了新的可能。
　　本文基于Swift對象存儲架構(gòu)對海量小文件的存取機制的優(yōu)化進行研究。首先，為了提升海量小文件在存儲時的寫入性能，提出一種基于文件寫入請求的時序特性的數(shù)據(jù)聚合存儲策略；同時，建立分布式二級索引機制，解決代理節(jié)點的元數(shù)據(jù)管理的性能瓶頸。通過大量的仿真實驗表明，相對原始系統(tǒng)的存儲機制，本存儲優(yōu)化機制采用數(shù)據(jù)聚合分級索引策略，數(shù)據(jù)寫入的響應(yīng)時間更短，索引維護代價更低。
　　其次，針對二級索引機制的引入帶來小文件讀取

3、響應(yīng)時間增長的不利影響，本文首先提出了一種結(jié)合歷史關(guān)聯(lián)性與語義關(guān)聯(lián)性的對象關(guān)聯(lián)性評估模型。然后借助于對象關(guān)聯(lián)性評估數(shù)據(jù)進行對象預(yù)測分析，通過建立預(yù)取策略來減少小文件讀取的響應(yīng)時間。其次為提高預(yù)測的準確度，本模型提出回歸分析的校正方法，首先通過HP公司真實日志數(shù)據(jù)對預(yù)測結(jié)果進行校對，其次修正結(jié)果反饋優(yōu)化評估模型的權(quán)重分配，然后進一步擬合數(shù)據(jù)時序，實驗結(jié)果表明，相比于傳統(tǒng)，本模型提高了數(shù)據(jù)在訪問時的效率。
　　最后，本文通過完成整合數(shù)