基于糾刪碼容錯的并行文件系統(tǒng)優(yōu)化技術(shù)研究和實現(xiàn).pdf

1、隨著高性能計算機(jī)計算性能的提高，其存儲系統(tǒng)的規(guī)模也在不斷擴(kuò)展，單純依靠傳統(tǒng)的硬件平臺容錯方法已經(jīng)逐漸無法滿足系統(tǒng)對數(shù)據(jù)可靠性的要求，高性能計算機(jī)使用軟件方法來保證數(shù)據(jù)和存儲系統(tǒng)的可靠性是大勢所趨。糾刪碼作為一種數(shù)據(jù)冗余技術(shù)，對比其它數(shù)據(jù)容錯技術(shù)，具有較高的存儲利用率和較強(qiáng)的容錯能力，在云存儲領(lǐng)域，已經(jīng)開始得到較為廣泛的關(guān)注。因此能否夠?qū)⒓m刪碼應(yīng)用到高性能計算機(jī)的存儲系統(tǒng)，從而從軟件層面保障數(shù)據(jù)的可靠性成為該領(lǐng)域關(guān)注的熱點問題。
　

2、　為了研究將糾刪碼應(yīng)用到 HPC存儲系統(tǒng)中的可行性，我們分析了不同糾刪碼的編碼計算開銷，解碼計算開銷，容錯率，存儲空間利用率等特性，分析了糾刪碼應(yīng)用到不同的云存儲系統(tǒng)對系統(tǒng)性能和可靠性等方面的影響，分析了將糾刪碼應(yīng)用到 HPC存儲系統(tǒng)中應(yīng)重點研究的內(nèi)容?；谝陨系姆治?，我們進(jìn)行了下列研究：
　　分析了糾刪碼對HPC存儲系統(tǒng)的性能的影響，并對關(guān)鍵的I/O操作——順序?qū)懖僮鬟M(jìn)行了優(yōu)化，我們提出基于數(shù)據(jù)局部性的緩存技術(shù)減少了順序?qū)懖僮髦?/p>

3、編碼計算的次數(shù)，又提出基于多條帶并行的流水線技術(shù)進(jìn)一步隱藏順序?qū)懖僮髦胁糠钟嬎愫蛯懭胄ｒ瀴K的開銷。并從理論上量化分析了優(yōu)化技術(shù)對順序?qū)懖僮餍阅艿奶嵘?br>　　研究如何充分利用糾刪碼的解碼恢復(fù)能力來提高HPC存儲系統(tǒng)的可靠性和I/O性能，具體進(jìn)行了以下三個方面的研究：1）分析了糾刪碼對HPC存儲系統(tǒng)中恢復(fù)操作性能的影響，并提出優(yōu)化的方案。2）分析了糾刪碼對降級讀操作的影響，提出基于預(yù)讀機(jī)制和緩存技術(shù)的PC-Read方法優(yōu)化順序讀過程中

4、發(fā)生的降級讀操作，并從理論上量化分析了此方法對降級讀操作性能的提升。3）提出了CR-Read方法優(yōu)化由于IO易變性引發(fā)的聚合讀效率低的問題，并提出一個算法——JMCR用來確定使用該方法的最佳時間點。
　　針對本文提出的優(yōu)化方法，設(shè)計實現(xiàn)了EDFS系統(tǒng)，EDFS系統(tǒng)是一個基于糾刪碼容錯的原型驗證系統(tǒng)。該系統(tǒng)堆疊在現(xiàn)有并行文件系統(tǒng)之上，支持對順序 I/O操作的優(yōu)化方法，針對降級讀操作提出的優(yōu)化方法PC-Read及針對IO易變性提出的C