雙控制器磁盤陣列中PCI-e同步通道的優(yōu)化技術(shù)研究.pdf

1、為了提高數(shù)據(jù)存儲(chǔ)的可靠性,雙控制器磁盤陣列使用越來越廣泛。在雙控盤陳列中,控制器間的數(shù)據(jù)同步是決定其性能和可靠性的關(guān)鍵因素。在自主研發(fā)的雙控中,采用PCI-e作為同步通道,可以在傳輸速率上滿足性能要求。但其本身也存在許多的問題。一方面,PCI-e板卡使用RDMA傳輸方式,在傳輸小塊數(shù)據(jù)時(shí)性能會(huì)急劇下降。另一方面,傳統(tǒng)的PCI-e通信設(shè)計(jì)是針對于多點(diǎn)(節(jié)點(diǎn)數(shù)>2)的情況,而在雙控制服務(wù)器磁盤陣列中的數(shù)據(jù)同步是一種點(diǎn)到點(diǎn)的傳輸模式。因此,一

2、方面需要解決傳輸小塊數(shù)據(jù)的問題。另一方面需要簡化現(xiàn)有的PCI-e傳輸層次。
　　在傳輸方式中,SISCI層中的共享內(nèi)存是直接由CPU來掌管的傳輸方式,在存儲(chǔ)小塊數(shù)據(jù)時(shí)不會(huì)有性能下降的問題。在改進(jìn)之后的傳輸模式中,選擇將RDMA和共享內(nèi)存的傳輸方式結(jié)合起來。在發(fā)送方發(fā)送結(jié)束后,使用中斷的方式來通知接收方已經(jīng)發(fā)送完畢,解放CPU去完成其他的工作。在傳輸?shù)拈_始和結(jié)束時(shí),分別有錯(cuò)誤檢測模塊來進(jìn)行錯(cuò)誤檢測,并發(fā)送錯(cuò)誤報(bào)告。整個(gè)接口應(yīng)用在SI

3、SCI層之上,避開了supersocket層上繁瑣的管理步驟,簡化了PCI-e的層次結(jié)構(gòu)。
　　在對PCI-e做出改進(jìn)之后,使用共享內(nèi)存的方式解決了其在傳輸小塊數(shù)據(jù)時(shí)的速率下降問題,同時(shí)保留了RDMA在傳輸大塊數(shù)據(jù)的傳輸高效性。改進(jìn)之后在傳輸小塊數(shù)據(jù)時(shí),傳輸速率提升4-6倍。改進(jìn)之后的傳輸通道一方面作為程序的接口,可以被Cache同步模塊直接調(diào)用,可以根據(jù)用戶的需求,選擇合適的數(shù)據(jù)塊大小進(jìn)行傳輸。同時(shí),可以通過包括錯(cuò)誤檢測,中斷提