面向多層存儲(chǔ)架構(gòu)的I-O優(yōu)化技術(shù)研究.pdf

1、隨著高性能計(jì)算技術(shù)的快速發(fā)展，I/O密集型應(yīng)用對(duì)高性能計(jì)算機(jī)的存儲(chǔ)子系統(tǒng)的容量、性能、可擴(kuò)展性和可靠性等方面提出了越來(lái)越高的要求，在大數(shù)據(jù)時(shí)代下，海量數(shù)據(jù)的快速分析處理也需要優(yōu)秀的存儲(chǔ)系統(tǒng)作為支撐。存儲(chǔ)子系統(tǒng)作為高性能計(jì)算機(jī)系統(tǒng)的關(guān)鍵組成部分，其I/O性能和系統(tǒng)計(jì)算性能的不匹配已經(jīng)成為阻礙系統(tǒng)整體性能提升的重要瓶頸。 磁盤作為目前主流的存儲(chǔ)設(shè)備，其性能提升速度遠(yuǎn)遠(yuǎn)落后于CPU等計(jì)算設(shè)備的性能提升速度，面對(duì)這一事實(shí)，現(xiàn)有存儲(chǔ)架構(gòu)的性能可提

2、升空間有限。多層存儲(chǔ)架構(gòu)的靈感來(lái)自于單機(jī)環(huán)境下的存儲(chǔ)層次結(jié)構(gòu)，為高性能計(jì)算機(jī)的計(jì)算節(jié)點(diǎn)增加存儲(chǔ)設(shè)備組成本地存儲(chǔ)，將原有的存儲(chǔ)子系統(tǒng)作為全局存儲(chǔ)，兩者組成多層結(jié)構(gòu)，充分發(fā)揮各種類型存儲(chǔ)資源的優(yōu)勢(shì)，是未來(lái)高性能計(jì)算機(jī)存儲(chǔ)系統(tǒng)的發(fā)展方向。本
　　本研究主要內(nèi)容包括：⑴對(duì)多層存儲(chǔ)架構(gòu)的運(yùn)行模式進(jìn)行了研究。多層存儲(chǔ)架構(gòu)相比傳統(tǒng)的單層存儲(chǔ)架構(gòu)有著更大的性能提升空間，分析了目前多層存儲(chǔ)架構(gòu)中使用的I/O調(diào)度和容錯(cuò)方法，指出了其中存在的問(wèn)題和對(duì)其

3、進(jìn)行優(yōu)化的方向。⑵設(shè)計(jì)實(shí)現(xiàn)了一種基于節(jié)點(diǎn)I/O繁忙度的I/O調(diào)度方法。在多層存儲(chǔ)架構(gòu)中，如何有效地利用本地存儲(chǔ)資源并減少I/O沖突是提高系統(tǒng)I/O性能的關(guān)鍵，然而，在高性能計(jì)算機(jī)系統(tǒng)中，由于多個(gè)計(jì)算節(jié)點(diǎn)作為客戶端共同使用系統(tǒng)中的存儲(chǔ)資源，當(dāng)系統(tǒng)中有多個(gè)作業(yè)同時(shí)運(yùn)行時(shí)，不同作業(yè)在使用本地存儲(chǔ)資源過(guò)程中必然存在I/O沖突，這可能使得某個(gè)作業(yè)的I/O請(qǐng)求需要等待較長(zhǎng)時(shí)間才能被響應(yīng)，這種情況下I/O調(diào)度方法對(duì)系統(tǒng)的整體性能有重要影響，本文提出的

4、基于節(jié)點(diǎn)I/O繁忙度的I/O調(diào)度方法針對(duì)系統(tǒng)中存儲(chǔ)設(shè)備的當(dāng)前I/O繁忙程度進(jìn)行調(diào)度，從而有效提高系統(tǒng)的整體I/O性能。⑶設(shè)計(jì)實(shí)現(xiàn)了一種基于分層協(xié)同的I/O容錯(cuò)方法?，F(xiàn)有存儲(chǔ)系統(tǒng)的容錯(cuò)方法如RAID、糾刪碼等主要面向單層存儲(chǔ)架構(gòu)，沒(méi)有充分發(fā)掘多層存儲(chǔ)架構(gòu)的協(xié)同容錯(cuò)能力。為此，本文設(shè)計(jì)了分層協(xié)同的I/O容錯(cuò)方法，通過(guò)構(gòu)造I/O代理層來(lái)實(shí)現(xiàn)對(duì)作業(yè)I/O過(guò)程的實(shí)時(shí)監(jiān)控，在異常發(fā)生時(shí)利用多層存儲(chǔ)資源協(xié)同容錯(cuò)，有效改善了多層存儲(chǔ)架構(gòu)的可靠性和可用性