高性能計算環(huán)境下基于負載感知的混合寫緩沖系統(tǒng).pdf

1、當(dāng)高性能計算朝著百億億次級發(fā)展時，I/O性能仍然是一個主要的瓶頸，尤其是在數(shù)據(jù)密集型的科學(xué)應(yīng)用中體現(xiàn)得非常明顯。科學(xué)應(yīng)用以數(shù)據(jù)模擬操作為主，其訪問特征是階段性地向并行文件系統(tǒng)輸出大量中間結(jié)果，這種周期性的寫請求會給并行文件系統(tǒng)帶來突發(fā)性的寫性能瓶頸。與此同時，高性能計算集群仍然以機械硬盤（HDD）作為主要存儲介質(zhì)。新型存儲設(shè)備固態(tài)硬盤（SSD）由于其對隨機訪問不敏感等特性，已經(jīng)被廣泛應(yīng)用在高性能計算環(huán)境當(dāng)中。當(dāng)前大多數(shù)的大規(guī)模高性能計算

2、集群，使用SSD與HDD結(jié)合的混合存儲系統(tǒng)，將SSD作為計算節(jié)點與HDD之間的高速緩沖。
　　以突發(fā)性寫緩沖（Burst Buffer）為代表的混合存儲系統(tǒng)需要使用大量的SSD來緩沖所有的中間數(shù)據(jù)，并且依賴難以預(yù)測的計算階段進行數(shù)據(jù)刷新，系統(tǒng)的建設(shè)成本仍然很高。為解決突發(fā)性寫緩沖存在的缺陷，基于負載感知的寫緩沖系統(tǒng)，首先通過分析不同的科學(xué)應(yīng)用訪問模式在不同負載情況下引起隨機訪問的現(xiàn)象及原因，設(shè)計一種服務(wù)端負載感知的隨機識別方法。然