基于HDFS的多租戶小文件存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì).pdf

1、計(jì)算機(jī)技術(shù)尤其是互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，使得人們產(chǎn)生與分享信息變得愈發(fā)便利與多樣。如當(dāng)前普遍使用的微信，人們隨時(shí)隨地可以產(chǎn)生大量短小的圖片、音頻及視頻內(nèi)容。這對(duì)存儲(chǔ)和處理這些巨量的信息提出了很大的挑戰(zhàn)，尤其是小文件存儲(chǔ)與處理系統(tǒng)，它是目前互聯(lián)網(wǎng)應(yīng)用服務(wù)必須具備的底層服務(wù)。目前Hadoop系統(tǒng)已經(jīng)成為目前用于大數(shù)據(jù)存儲(chǔ)和處理的公認(rèn)標(biāo)準(zhǔn)。但Hadoop包含的底層分布式存儲(chǔ)系統(tǒng)HDFS(Hadoop Distributed File Syste

2、m)的設(shè)計(jì)著重于高延時(shí)、高吞吐大文件場(chǎng)景的數(shù)據(jù)處理，其元數(shù)據(jù)訪問(wèn)模式對(duì)小文件場(chǎng)景十分不利。
　　HDFS運(yùn)行時(shí)必須將所有的文件元數(shù)據(jù)信息載入到服務(wù)器內(nèi)存中，因而一個(gè)集群的文件存儲(chǔ)數(shù)量受限于元數(shù)據(jù)服務(wù)器內(nèi)存的大小。大量小文件會(huì)和大文件一樣產(chǎn)生對(duì)應(yīng)的元數(shù)據(jù)條目，但其實(shí)際占用的存儲(chǔ)空間卻比后者小很多，這使得元數(shù)據(jù)和集群空間利用率被很大程度地降低。在文件訪問(wèn)上，通常需要多達(dá)四次的網(wǎng)絡(luò)請(qǐng)求客戶端才能正真獲取到需要的文件內(nèi)容。對(duì)小文件而言，網(wǎng)

3、絡(luò)請(qǐng)求耗時(shí)比大文件占比要高且直接影響到訪問(wèn)效率。另外當(dāng)前HDFS還不具備多租戶機(jī)制，只能對(duì)用戶級(jí)別的容量和文件數(shù)做配額約束，而不能動(dòng)態(tài)、細(xì)粒度地限定用戶的資源使用。
　　針對(duì)上述問(wèn)題，本文通過(guò)修改HDFS的元數(shù)據(jù)存儲(chǔ)模式，首次將多級(jí)分離緩存引入到HDFS元數(shù)據(jù)存儲(chǔ)管理中。該設(shè)計(jì)從根本上來(lái)解決了大量小文件對(duì)元數(shù)據(jù)內(nèi)存的消耗問(wèn)題，且可以通過(guò)不同的緩存策略降低由此引入的緩存失效延遲問(wèn)題。同時(shí)本文還提出了一種新的文件直接訪問(wèn)模式，使得客戶