面向內(nèi)存文件系統(tǒng)的數(shù)據(jù)一致性更新機(jī)制和進(jìn)程調(diào)度的研究.pdf

1、數(shù)據(jù)時代需要高效地處理規(guī)模龐大的數(shù)據(jù)以獲取需要的信息。近年來研究界提出的基于存儲級內(nèi)存（Storage Class Memory，SCM）介質(zhì)的內(nèi)存文件系統(tǒng)在高效處理大量實時數(shù)據(jù)方面表現(xiàn)出了極大的潛力。能夠連續(xù)穩(wěn)定的可靠工作是設(shè)計文件系統(tǒng)時必須要考慮的一個重要問題，文件系統(tǒng)的可靠性由更新時維護(hù)數(shù)據(jù)的一致性來保證。內(nèi)存文件系統(tǒng)的數(shù)據(jù)訪問方式和I/O路徑不同于傳統(tǒng)面向塊設(shè)備的文件系統(tǒng)，現(xiàn)有的一致性更新機(jī)制沒能很好的利用SCM介質(zhì)的特點，適用

2、于內(nèi)存文件系統(tǒng)的數(shù)據(jù)一致性更新機(jī)制尚未得到很好的研究。另一方面基于SCM介質(zhì)的內(nèi)存文件系統(tǒng)的高性能是以消耗大量內(nèi)存帶寬為基礎(chǔ)的，在文件的整個訪問過程中會持續(xù)占用大量內(nèi)存帶寬，從而影響系統(tǒng)中其它需求帶寬進(jìn)程的性能。
　　本文中，我們提出了一種有效的數(shù)據(jù)一致性更新機(jī)制—兩棲更新策略（Amphibian Update Strategy，AUS），它能很好的利用SCM介質(zhì)按字節(jié)尋址、隨機(jī)訪問和可以使用虛擬地址進(jìn)行連續(xù)讀寫的特點。AUS根據(jù)

3、更新請求數(shù)據(jù)量大小決定使用直接拷貝（Direct Copy，DC）或原子性更新（Atomic Update，AU）進(jìn)行主文件一致性的維護(hù)。我們以內(nèi)存文件系統(tǒng)SIMFS為基礎(chǔ)，實現(xiàn)了多種現(xiàn)有數(shù)據(jù)一致性更新機(jī)制的版本。使用文件系統(tǒng)測試基準(zhǔn)IOZone分別測試了各種數(shù)據(jù)一致性更新機(jī)制實現(xiàn)在SIMFS中的性能，實驗結(jié)果表明AUS性能最好。
　　為了應(yīng)對直接使用Linux現(xiàn)有調(diào)度器CFS進(jìn)行調(diào)度時，內(nèi)存訪問密集型進(jìn)程會大量消耗內(nèi)存帶寬從而影

4、響其它進(jìn)程執(zhí)行的問題。我們首先構(gòu)建了一個在帶寬有限情況下可以獲得工作集的最短完成時間的 ILP調(diào)度模型，然后提出了帶寬自適應(yīng)（Bandwidth-Fit，B-Fit）啟發(fā)式算法來有效的解決工作集的調(diào)度問題。雖然ILP總能找出最優(yōu)解，但由于其運(yùn)行時間隨著問題規(guī)模的增大呈指數(shù)增長，所以能夠在O(n)時間內(nèi)找出接近于最優(yōu)解的B-Fit算法才更為實用。我們把該項技術(shù)使用用戶級權(quán)限實現(xiàn)到Linux系統(tǒng)中，實驗表明與CFS相比，其最多可以將工作集的