D-Ocean集群與計(jì)算資源管理的研究與實(shí)現(xiàn).pdf

1、如何有效利用互聯(lián)網(wǎng)海量非結(jié)構(gòu)化數(shù)據(jù)并挖掘出其中蘊(yùn)藏的巨大價(jià)值成為當(dāng)前大數(shù)據(jù)時(shí)代的研究熱點(diǎn)。隨著分布式計(jì)算和處理技術(shù)的發(fā)展，分布式的架構(gòu)體系已成為非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的主流。資源管理是分布式體系中的一個(gè)重要方向，高效的資源管理可以滿足分布式系統(tǒng)對(duì)于資源的動(dòng)態(tài)需求，最大幅度地提升系統(tǒng)的服務(wù)能力和處理性能。
　　 針對(duì)非結(jié)構(gòu)化數(shù)據(jù)系統(tǒng)資源管理中的關(guān)鍵技術(shù)問(wèn)題，本文主要貢獻(xiàn)如下:
　　 分析了當(dāng)前一些成熟的分布式系統(tǒng)和計(jì)算架構(gòu)中

2、的資源管理方案，然后以提升資源利用率為目標(biāo)，設(shè)計(jì)實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)D-Ocean的集群管理與監(jiān)控平臺(tái)，通過(guò)邏輯角色的劃分對(duì)系統(tǒng)集群資源進(jìn)行細(xì)粒度管理，提升系統(tǒng)的對(duì)外服務(wù)能力，滿足系統(tǒng)的配置靈活性和高可擴(kuò)展性。此外，還通過(guò)管理與監(jiān)控工具實(shí)現(xiàn)了對(duì)集群中節(jié)點(diǎn)和任務(wù)運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)控。
　　 為D-Ocean系統(tǒng)的核心計(jì)算平臺(tái)設(shè)計(jì)實(shí)現(xiàn)了一個(gè)高效且通用的資源管理架構(gòu)，通過(guò)對(duì)節(jié)點(diǎn)和任務(wù)定義等資源進(jìn)行建模實(shí)現(xiàn)了分布式計(jì)算與處理中計(jì)算資