高性能PC集群的研究與應用.pdf

1、隨著社會不斷的進步,人們對高性能計算的需求不斷的增加,高性能計算的應用領域已經(jīng)不再局限于幾個尖端科學領域,而是涉及到了社會的方方面面.隨著計算機軟件和硬件技術的不斷發(fā)展,通過高速網(wǎng)絡設備將普通PC連接而構成的集群系統(tǒng)表現(xiàn)出越來越高的性能,同時由于硬件價格便宜,使得計算機集群系統(tǒng)被越來越多的用戶所接受,它也成為了高性能計算機領域中的一個重要分支.但是集群系統(tǒng)與傳統(tǒng)的高性能計算機在硬件方面仍然有差距,要使集群系統(tǒng)體現(xiàn)出高性能、高可用性以及可

2、擴展性,就需要通過對集群系統(tǒng)結構以及集群系統(tǒng)軟件的設計來實現(xiàn).集群的結構設計需要根據(jù)具體應用而定,而軟件模塊的設計則是在結構設計的基礎上來完成的.軟件模塊設計涉及到網(wǎng)絡通訊,負載均衡以及高可用性等幾個關鍵模塊,它們的設計好壞將直接影響到系統(tǒng)的性能和可靠性,以及將來的擴展能力.該文介紹了兩個集群系統(tǒng)設計實現(xiàn)的實例:一個是用于DVB系統(tǒng)中的基于集群的視頻服務器,另外一個是用于決策參考的集群式指標計算系統(tǒng).無論是視頻服務器還是指標計算系統(tǒng)都對

3、系統(tǒng)的計算能力,I/O讀寫能力有較高的要求,同時還有可靠性的要求.這兩個系統(tǒng)傳統(tǒng)的實現(xiàn)方法都是基于價格較高的SMP服務器,而通過PC集群的實現(xiàn),可以達到甚至超過原來系統(tǒng)的性能,同時硬件的卻成本明顯的下降了.通過這兩個系統(tǒng)的具體實現(xiàn),我們給出了集群的系統(tǒng)結構解決方法,還給出了集群系統(tǒng)軟件設計中一些關鍵部分的解決方法:在網(wǎng)絡通訊中可以使用socket通訊結合線程的方式,或者直接使用MPI消息傳遞庫,來保證通訊的效率;在負載平衡方面可以采用數(shù)

4、據(jù)的拆分結合內(nèi)存管理的方法,這樣既可以保證系統(tǒng)負載的均衡性同時也不會降低系統(tǒng)使用時的性能.在高可用性設計方面則結合系統(tǒng)中的冗余設備,注重分析系統(tǒng)中任務狀態(tài)遷移的過程.系統(tǒng)測試數(shù)據(jù)證明了這兩個系統(tǒng)采用集群方式實現(xiàn)的有效性.根據(jù)這兩個系統(tǒng)的軟件模塊設計,我們還總結出了集群系統(tǒng)軟件模塊的一個系統(tǒng)框架.論文的章節(jié)安排如下:第一章介紹了集群系統(tǒng)的概念,討論了集群系統(tǒng)的特點以及優(yōu)勢;第二章討論集群系統(tǒng)設計中的幾個關鍵性問題;第二章介紹了兩個集群實例