高性能集群拓?fù)浼敖M成介紹

1、中國(guó)礦大高性能集群各子模塊介紹,,1、集群拓?fù)浣Y(jié)構(gòu)圖,礦大高性能集群拓?fù)鋱D,71個(gè)刀片計(jì)算節(jié)點(diǎn)：2顆6核 2.66GHz CPU/24GB內(nèi)存；2個(gè)胖計(jì)算節(jié)點(diǎn)：4顆4核1.86GHz CPU/32GB內(nèi)存; 2個(gè)GPU計(jì)算節(jié)點(diǎn)：2塊NV C2050 GPU; 4個(gè)登錄、管理刀片節(jié)點(diǎn)；,Clusnap存儲(chǔ)系統(tǒng)： 52TB裸存儲(chǔ)；,網(wǎng)絡(luò)： 雙向40Gb infiniband 計(jì)算網(wǎng)絡(luò)、千兆管理網(wǎng)絡(luò)、百兆IPMI監(jiān)控網(wǎng)絡(luò)；,其它： Gridv

2、iew集群管理系統(tǒng)；機(jī)房基礎(chǔ)設(shè)施（機(jī)柜、UPS、空調(diào)散熱系統(tǒng)等）,2、節(jié)點(diǎn)介紹,節(jié)點(diǎn)—刀片TC5600,曙光天潮TC5600機(jī)架式刀片HPC服務(wù)器是曙光公司開發(fā)的一款突破傳統(tǒng)服務(wù)器理念的HPC刀片產(chǎn)品,,后視圖,,正視圖,,,,,,,,,,,,,,,,,,,,后視圖,,正視圖,,風(fēng)扇電源模組,,網(wǎng)絡(luò)背板,,,PDU模塊,,刀片機(jī)箱,,系統(tǒng)風(fēng)扇模組在系統(tǒng)后部,,TC5600系統(tǒng)組成,TC5600整體視圖,,,,,,,,,,,,,,,機(jī)箱后

3、視圖,,風(fēng)扇電源模組,,網(wǎng)絡(luò)背板,,,PDU模塊,,刀片機(jī)箱,,系統(tǒng)風(fēng)扇,TC5600各部件規(guī)格,TC5600整體規(guī)格,TC5600刀片規(guī)格,TC5600產(chǎn)品特點(diǎn),,,靈活運(yùn)行環(huán)境,可安全運(yùn)行在環(huán)境溫度30攝氏度的機(jī)房中，有效降低了環(huán)境設(shè)備耗能，提高了數(shù)據(jù)中心總效能，降低了運(yùn)營(yíng)成本,,,刀片統(tǒng)一散熱,TC5600刀片HPC服務(wù)器采用具有自主知識(shí)產(chǎn)權(quán)的機(jī)柜級(jí)front-to-back散熱技術(shù)，內(nèi)部無(wú)需風(fēng)扇，也有效提高了設(shè)備可靠性,,,超高

4、計(jì)算密度,每機(jī)架在標(biāo)準(zhǔn)42U空間內(nèi)提供80個(gè)DP節(jié)點(diǎn)，每機(jī)架可提供高達(dá)11.25萬(wàn)億次計(jì)算能力,,,高效電源管理,TC5600刀片采用統(tǒng)一的電源管理策略提高了系統(tǒng)電源效率及機(jī)房配電系統(tǒng)的相間平衡率,新型的HPC刀片產(chǎn)品,TC5600使用說(shuō)明,,1 安裝好機(jī)箱,,2 打開風(fēng)扇電源模組,,3 打開刀片節(jié)點(diǎn),,4 安裝系統(tǒng)使用,1 VGA接口2 主面板3 硬盤倉(cāng)4 節(jié)點(diǎn)卡扣7 節(jié)點(diǎn)指示燈8 Power按鈕及ID按鈕9 USB接

5、口,TC5600使用說(shuō)明,,KVM本地操作,,本地KVM,連接好KVM和刀片節(jié)點(diǎn)的VGA和USB接線，即可對(duì)TC5600進(jìn)行本地操作,,遠(yuǎn)程KVM,通過(guò)TCP/IP網(wǎng)絡(luò)協(xié)議可以登錄到節(jié)點(diǎn)的BMC芯片，進(jìn)而打開節(jié)點(diǎn)的管理控制臺(tái)，對(duì)節(jié)點(diǎn)進(jìn)行遠(yuǎn)程操作,,KVM遠(yuǎn)程操作,,KVM遠(yuǎn)程操作時(shí)確?？蛻舳撕偷镀?jié)點(diǎn)BMC芯片的IP能夠ping通，利用網(wǎng)絡(luò)登錄帶到BMC芯片中，進(jìn)而登錄節(jié)點(diǎn),,對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行操作的方式,四路胖計(jì)算節(jié)點(diǎn)-I840r-GP服

6、務(wù)器,13,,性能更強(qiáng)勁、擴(kuò)展更自由、維護(hù)更方便,規(guī)格,I840r—GP前視圖,A：超薄光驅(qū)槽位 B：網(wǎng)卡指示燈 C：前面控制面板 D：前置VGA 接口E：前置USB 接口（3 個(gè)） F：5.25 英寸設(shè)備擴(kuò)展位 G：2.5 英寸硬盤位,GPU計(jì)算節(jié)點(diǎn)-W580I,什么是GPU？GPU英文全稱Graphic Processing Unit，中文翻譯為“圖形處理器”。GPU是相對(duì)于CPU的一個(gè)概念，由于在現(xiàn)代的計(jì)算機(jī)中（特別是家用系統(tǒng)

7、，游戲的發(fā)燒友）圖形的處理變得越來(lái)越重要，需要一個(gè)專門的圖形核心處理器，所以就把專門處理圖形部分的處理器叫做GPU。GPU為什么比CPU快？,W580I主要技術(shù),W580I技術(shù)特點(diǎn)-多卡支持,強(qiáng)大的系統(tǒng)總線帶寬多達(dá)9個(gè)PCI插槽4個(gè)PCI-E 2.0 X16規(guī)格的插槽，支持全長(zhǎng)、全高、雙寬圖形卡,,曙光圖形工作站技術(shù)特點(diǎn)-系統(tǒng)散熱,結(jié)構(gòu)與散熱優(yōu)勢(shì)GPU卡本身發(fā)熱量和功耗都比較大，最大的可能達(dá)到單卡300W左右，對(duì)系統(tǒng)散熱和功耗

8、控制帶來(lái)極大的問(wèn)題特別是現(xiàn)在CPU與GPU數(shù)量的配比逐漸增高，也導(dǎo)致了在單一系統(tǒng)中需求更多的GPU曙光產(chǎn)品采用標(biāo)準(zhǔn)的4U產(chǎn)品改良設(shè)計(jì)空間上可支持更多的GPU卡，目前系統(tǒng)本身最大可支持4片GPU卡散熱上采用高效能系統(tǒng)風(fēng)扇，并且分為內(nèi)扇和外扇兩部分,機(jī)箱內(nèi)部4個(gè)熱插拔智能風(fēng)扇，可隨機(jī)箱內(nèi)部的溫度進(jìn)行轉(zhuǎn)速的調(diào)節(jié),機(jī)箱后部有2個(gè)可從機(jī)箱外部拆卸的熱插拔散熱風(fēng)扇,3、存儲(chǔ)系統(tǒng)介紹,存儲(chǔ)系統(tǒng)組成,Clusnap+FC SAN存儲(chǔ),曙光Clu

9、Snap集群容錯(cuò)模塊,第三天機(jī)器失效!意料之中!,第五天算完!,第一天平安無(wú)事!,第二天居然還平安無(wú)事？,第三天OMG，機(jī)器死機(jī)，要來(lái)的終究會(huì)來(lái)的…..,第七天，運(yùn)氣不錯(cuò)，居然堅(jiān)持了4天！,無(wú)CluSnap,有CluSnap,上帝保佑我能算完！,我很有底！,高速非易失性緩存（Cache）的作用,t,t,t,?t,?t,T（運(yùn)算時(shí)間）＝t＋?t＋t＋?t＋t＝3t＋2?t,,如果一個(gè)運(yùn)算需要設(shè)置N個(gè)檢查點(diǎn)，則系統(tǒng)的損耗時(shí)間為：

10、N×?t,以一個(gè)需要32GB內(nèi)存大小的應(yīng)用為例，在通常的系統(tǒng)中，建立一個(gè)檢查點(diǎn)需要32000/40=800秒的時(shí)間，如果你每天需要設(shè)置24個(gè)檢查點(diǎn)，則需要額外消耗800×24≈5小時(shí)！,高速非易失性緩存技術(shù)可以大大降低將5小時(shí)降低為15分鐘！,,,,,FC SAN存儲(chǔ)-DS6310FE,FC SAN存儲(chǔ)-DS6310FE,磁盤陣列概念和優(yōu)點(diǎn),磁盤陣列是一種把若干硬磁盤驅(qū)動(dòng)器按照一定要求組成一個(gè)整體，整個(gè)磁盤陣列由

11、陣列控制器管理的系統(tǒng).,１.傳輸速率快２.儲(chǔ)存容量可提升３.提升I/O每秒的數(shù)量４.增加數(shù)據(jù)安全性及穩(wěn)定性５.大量數(shù)據(jù)快速及簡(jiǎn)易管理６.增加可用運(yùn)時(shí)間，減少維護(hù),存儲(chǔ)系統(tǒng)結(jié)構(gòu),后端,控制器A,控制器B,前端,存儲(chǔ)結(jié)構(gòu)圖,SATASASFCSCSI,X86PoserpcIopPmc..,FCSASISCSIIB,WindowsLinuxMac..,外接式磁盤陣列柜各組成部分作用,控制器：處理IO請(qǐng)求、進(jìn)

12、行RAID運(yùn)算，監(jiān)控和管理整個(gè)外接式磁盤陣列柜，分為CISC處理器和RIS C處理器,屬于系統(tǒng)的核心部件，類似于服務(wù)器的主板，一般處理器，內(nèi)存，接口芯片都在控制器上，中高端磁盤陣列一般采用雙控制器，或者多控制器架構(gòu)。主機(jī)接口：用于連接主機(jī)（服務(wù)器），構(gòu)建服務(wù)器與磁盤陣列之間的數(shù)據(jù)交換通道，通常有SCSI、FC、SAS、iSCSI幾種類型。擴(kuò)展接口：用于連接磁盤擴(kuò)展柜，擴(kuò)大存儲(chǔ)空間；通常有FC、SAS兩種類型（擴(kuò)展柜接口類型一般和主柜

13、一樣，SAS擴(kuò)展柜連接距離短）。電源，風(fēng)扇 ：為整個(gè)磁盤陣列柜提供電力，磁盤陣列一般為冗余電源設(shè)計(jì)，用于散熱。硬盤：FC,FC-SATA,SAS,SATA,SATA-SAS.,主流存儲(chǔ)架構(gòu),DAS架構(gòu)NAS架構(gòu)SAN架構(gòu),DAS架構(gòu),DAS是Direct Attached Storage的縮寫，即“直接連接存儲(chǔ)”。它是指將外置存儲(chǔ)設(shè)備通過(guò)連接電纜，直接連接到一臺(tái)計(jì)算機(jī)上。采用直接外掛存儲(chǔ)方案的服務(wù)器結(jié)構(gòu)如同PC機(jī)架構(gòu)，外部數(shù)據(jù)存

14、儲(chǔ)設(shè)備采用SCSI技術(shù)，或者FC(Fibre Channel)技術(shù)，直接掛接在內(nèi)部總線上的方式，數(shù)據(jù)存儲(chǔ)是整個(gè)服務(wù)器結(jié)構(gòu)的一部分 。,DAS架構(gòu),結(jié)構(gòu)示意：,DAS架構(gòu),DAS方式實(shí)現(xiàn)了機(jī)內(nèi)存儲(chǔ)到存儲(chǔ)子系統(tǒng)的跨越，但是缺點(diǎn)依然有很多： 􀁺 擴(kuò)展性差，服務(wù)器與存儲(chǔ)設(shè)備直接連接的方式導(dǎo)致出現(xiàn)新的應(yīng)用需求時(shí)，只能為新增的服務(wù)器單獨(dú)配置存儲(chǔ)設(shè)備，造成重復(fù)投資。􀁺 資源利用率低，DAS方式的存儲(chǔ)長(zhǎng)期來(lái)看存儲(chǔ)

15、空間無(wú)法充分利用，存在浪費(fèi)。不同的應(yīng)用服務(wù)器面對(duì)的存儲(chǔ)數(shù)據(jù)量是不一致的，同時(shí)業(yè)務(wù)發(fā)展的狀況也決定這存儲(chǔ)數(shù)據(jù)量的變化。因此，出現(xiàn)了部分應(yīng)用對(duì)應(yīng)的存儲(chǔ)空間不夠用，另一些卻有大量的存儲(chǔ)空間閑置。􀁺 可管理性差，DAS方式數(shù)據(jù)依然是分散的，不同的應(yīng)用各有一套存儲(chǔ)設(shè)備。管理分散，無(wú)法集中。􀁺 異構(gòu)化嚴(yán)重，DAS方式使得企業(yè)在不同階段采購(gòu)了不同型號(hào)不同廠商的存儲(chǔ)設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴(yán)重，導(dǎo)致維護(hù)成本據(jù)高不

16、下,結(jié)構(gòu)特點(diǎn)：,NAS架構(gòu),NAS系統(tǒng)擁有一個(gè)專用的服務(wù)器，服務(wù)器上安裝著一個(gè)優(yōu)化的文件系統(tǒng)和“瘦”操作系統(tǒng)，其作用類似于一個(gè)專用的文件服務(wù)器。這種專用文件服務(wù)器去掉了通用服務(wù)器原有的大多數(shù)計(jì)算功能，僅僅提供文件系統(tǒng)功能，用于存儲(chǔ)服務(wù)。而且，NAS系統(tǒng)中的核心操作系統(tǒng)是經(jīng)過(guò)特殊定制的，專門服務(wù)于文件請(qǐng)求且與主要的網(wǎng)絡(luò)環(huán)境兼容。,NAS架構(gòu),結(jié)構(gòu)示意：,NAS架構(gòu),適用范圍：,小型局域網(wǎng)絡(luò),廣域網(wǎng)郵件系統(tǒng)、辦公OA,校園網(wǎng),文檔歸檔,

17、VOD等異構(gòu)平臺(tái)共享對(duì)性能要求不是極高的應(yīng)用基于文件系統(tǒng)，不適合數(shù)據(jù)庫(kù)應(yīng)用,SAN架構(gòu),所謂的SAN(storage area network)，即存儲(chǔ)區(qū)域網(wǎng)絡(luò)，是指在網(wǎng)絡(luò)服務(wù)器群的后端，采用光纖通道等存儲(chǔ)專用協(xié)議連接成高速專用網(wǎng)絡(luò)，使網(wǎng)絡(luò)服務(wù)器與多種存儲(chǔ)設(shè)備直接連接。 SAN的最大特點(diǎn)就是可以實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)器與存儲(chǔ)設(shè)備之間的多對(duì)多連接，而且，這種連接是本地的高速連接。 SAN架構(gòu)的優(yōu)勢(shì)在于：強(qiáng)

18、大的擴(kuò)展性、多種存儲(chǔ)設(shè)備的集中和新架構(gòu)支撐下的新型數(shù)據(jù)應(yīng)用方式。,Fibre Channel,Fibre Channel (FC)是1994年由ANSI標(biāo)準(zhǔn)化組織制訂的一種適合于千兆位數(shù)據(jù)傳輸通信的成熟而安全的解決方案。　　Fibre Channel 與傳統(tǒng)的SCSI技術(shù)相比，除了提供更高的數(shù)據(jù)傳輸速度，更遠(yuǎn)的傳輸距離，更多的設(shè)備連接支持，更穩(wěn)定的性能，更簡(jiǎn)易的安裝以外，最重要的是為SAN的發(fā)展提供了廣闊的天地.,FC SAN,結(jié)構(gòu)示

19、意：,FC SAN,特點(diǎn)：,基于設(shè)備塊級(jí)的訪問(wèn)模式擴(kuò)展性好易于集中管理高可靠性、可用性、可維護(hù)性 負(fù)載均衡傳輸效率高,低延遲成本高,ISCSI SAN,ISCSI是一種基于開放的工業(yè)標(biāo)準(zhǔn)，通過(guò)它可以用TCP/IP對(duì)SCSI(小型計(jì)算機(jī)系統(tǒng)接口--一種數(shù)據(jù)傳輸?shù)墓矃f(xié)議)指令進(jìn)行封裝，這樣就可以使這些指令能夠通過(guò)基于IP(以太網(wǎng)或千兆位以太網(wǎng))“網(wǎng)絡(luò)”進(jìn)行傳輸。,ISCSI SAN,ISCSI結(jié)構(gòu)圖:,ISCSI SAN,IS

20、CSI的連接方式:,以太網(wǎng)卡+軟件方式主機(jī)端采用標(biāo)準(zhǔn)的以太網(wǎng)卡，安裝Initiator軟件，通過(guò)Initiator軟件將以太網(wǎng)卡虛擬為ISCSI卡，實(shí)現(xiàn)主機(jī)和iSCSI設(shè)備之間的SCSI協(xié)議和TCP/IP協(xié)議傳輸功能。這種方式由于采用標(biāo)準(zhǔn)網(wǎng)卡，無(wú)需額外配置適配器，因此硬件成本最低。缺點(diǎn)是進(jìn)行ISCSI包文和TCP/IP包文轉(zhuǎn)換要點(diǎn)主機(jī)端的一部分資源。硬件TOE網(wǎng)卡實(shí)現(xiàn)方式 主機(jī)采用TOE(TCP/IP Offloading Eng

21、ine)網(wǎng)卡來(lái)連接網(wǎng)絡(luò)，TCP/IP協(xié)議棧功能由TOE卡完成，而iSCSI層的功能仍舊由主機(jī)來(lái)完成。 iSCSI HBA卡實(shí)現(xiàn)方式 使用iSCSI存儲(chǔ)適配器來(lái)完成服務(wù)器中的iSCSI層和TCP/IP協(xié)議棧功能。這種方式使得服務(wù)器CPU無(wú)需考慮iSCSI以及網(wǎng)絡(luò)配置，對(duì)服務(wù)器而言，iSCSI存儲(chǔ)器適配器是一個(gè)HBA設(shè)備，與服務(wù)器采用何種操作系統(tǒng)無(wú)關(guān)。該方式性能最好，但是價(jià)格也最為昂貴。,ISCSI SAN,ISCSI SAN,特點(diǎn):,

22、基于設(shè)備塊級(jí)的訪問(wèn)模式構(gòu)建所需成本低,可以利用現(xiàn)存網(wǎng)絡(luò)易于部署便于管理性能受網(wǎng)絡(luò)帶寬限制,DAS、NAS、SAN剖析,DAS、SAN的存儲(chǔ)網(wǎng)絡(luò),FC、Ethernet占據(jù)絕大部分市場(chǎng)份額Infiniband（IB）存儲(chǔ)逐漸興起,RAID基本概念——定義,RAID （Redundant Array of Independent Disks）即獨(dú)立磁盤冗余陣列，RAID技術(shù)將多個(gè)單獨(dú)的物理硬盤以不同的方式組合成一個(gè)邏輯硬盤

23、，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性。根據(jù)不同的組合方式可以分為不同的RAID級(jí)別,RAID出現(xiàn)原因,RAID級(jí)別,RAID組合方式——級(jí)別擴(kuò)展,同時(shí)采用兩種不同的RAID方式還能組合成新的RAID級(jí)別,RAID級(jí)別 —— RAID 0,D,H,L,C,G,K,B,F,J,定義：RAID0即沒(méi)有容錯(cuò)設(shè)計(jì)的條帶硬盤陣列（Striped Disk Array without Fault Tolerance），以條帶形式將RAID組的數(shù)據(jù)

24、均勻分布在各個(gè)硬盤中,,,,,,A,B,C,D,E,F,G,H,,,數(shù)據(jù),……,A,E,I,RAID級(jí)別 —— RAID 1,RAID 1 定義：RAID 1又稱鏡像（Mirror），數(shù)據(jù)同時(shí)一致寫到主硬盤和鏡像硬盤,E,D,C,B,A,E,D,C,B,A,,,,A,B,C,D,,,E,……,=,數(shù)據(jù),RAID級(jí)別 —— RAID 5,定義：RAID 5與RAID 3機(jī)制類似，但校驗(yàn)數(shù)據(jù)均勻分布在各數(shù)據(jù)硬盤上，RAID成員硬盤上同時(shí)

25、保存數(shù)據(jù)和校驗(yàn)信息，數(shù)據(jù)塊和對(duì)應(yīng)的校驗(yàn)信息保存在不同硬盤上。RAID 5是最常用的RAID方式之一,……,P4,A3,A2,A1,A0,B4,P3,B2,B1,B0,C4,C3,P2,C1,C0,D4,D3,D2,P1,D0,E4,E3,E2,E1,P0,,,,,,,,,,,,,異或運(yùn)算,A0,B0,C0,D0,A1,B1,C1,E1,A2,,,B2,D2,校驗(yàn)信息Px分布式存儲(chǔ),數(shù)據(jù),RAID級(jí)別 —— RAID 6,定義：RAID

26、 6 是帶有兩個(gè)獨(dú)立分布式奇偶校驗(yàn)方案的獨(dú)立數(shù)據(jù)硬盤（Independent data disks with two independent distributed parity schemes）。廣義上講，能夠允許兩個(gè)硬盤同時(shí)失效的RAID級(jí)別統(tǒng)稱為RAID 6，狹義上講，特指Intel的RAID P+Q技術(shù)。硬盤空間利用率為(N-2)/N，N為RAID6陣列硬盤總數(shù),RAID組合級(jí)別 —— RAID 10,定義：RAID 10是將

27、鏡像和條帶進(jìn)行兩級(jí)組合的RAID級(jí)別，第一級(jí)是RAID1鏡像對(duì)，第二級(jí)為RAID 0。RAID10也是一種應(yīng)用比較廣泛的RAID級(jí)別。,,,,,,,,,,A,B,C,D,E,F,G,H,,,A,A,C,B,B,C,D,D,E,E,F,F,G,G,H,H,RAID組合級(jí)別 —— RAID 0+1,A,B,C,D,E,F,G,H,定義：RAID 0+1是將條帶和鏡像進(jìn)行兩級(jí)組合的RAID級(jí)別，第一級(jí)是RAID 0，第二級(jí)為RAID 1。一

28、般來(lái)說(shuō)，RAID 0+1的失效概率要比RAID 10大，不過(guò)無(wú)硬盤故障下，RAID 0+1的讀取速度要比RAID 10快,,,,,,,,,,A,B,C,D,E,F,G,H,,,A,B,C,D,E,F,G,H,RAID組合級(jí)別 —— RAID 50,P13,F1,定義：RAID 50是將RAID5和RAID 0進(jìn)行兩級(jí)組合的RAID級(jí)別，最低一級(jí)是RAID 5，第二級(jí)為RAID 0,A2,P02,A1,A0,B2,B1,P01,B0,P