LSF中數(shù)據(jù)收集分析子系統(tǒng)的研究與設(shè)計(jì).pdf

1、隨著集群系統(tǒng)的發(fā)展,集群作業(yè)管理系統(tǒng)已成為高性能計(jì)算機(jī)領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題。本文結(jié)合Platform Computing公司開(kāi)發(fā)的LSF集群作業(yè)管理系統(tǒng),對(duì)該系統(tǒng)中的資源信息數(shù)據(jù)和作業(yè)運(yùn)行歷史數(shù)據(jù)進(jìn)行了研究,分析出系統(tǒng)管理人員難以根據(jù)當(dāng)前系統(tǒng)數(shù)據(jù)的查詢和顯示來(lái)做出高效而可靠的決策,因而需要設(shè)立一個(gè)輔助系統(tǒng)來(lái)為管理人員更方便地查看和分析數(shù)據(jù)提供服務(wù)。
　　 本文首先研究了LSF系統(tǒng)的工作原理和作業(yè)執(zhí)行流程,分析了LSF系統(tǒng)中的兩類數(shù)

2、據(jù)以及當(dāng)前數(shù)據(jù)的查詢和分析方式,得出系統(tǒng)提供的數(shù)據(jù)無(wú)法滿足管理人員的分析和決策需求。本文規(guī)劃了一個(gè)數(shù)據(jù)收集分析子系統(tǒng),將該系統(tǒng)劃分為數(shù)據(jù)收集模塊和數(shù)據(jù)分析處理模塊分別加以設(shè)計(jì)。本文在設(shè)計(jì)該子系統(tǒng)的數(shù)據(jù)收集過(guò)程中,采用了JNI技術(shù)來(lái)收集系統(tǒng)資源信息數(shù)據(jù)；在設(shè)計(jì)數(shù)據(jù)寫入過(guò)程中,設(shè)立了數(shù)據(jù)丟失保護(hù)機(jī)制；在設(shè)計(jì)數(shù)據(jù)分析處理過(guò)程中,采用了ETL技術(shù)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。最后對(duì)設(shè)計(jì)的子系統(tǒng)進(jìn)行了總體的功能測(cè)試和模塊的性能測(cè)試,達(dá)到了本文的設(shè)計(jì)目標(biāo)。