基于Hadoop的云計(jì)算資源管理研究.pdf

1、基于Hadoop的云計(jì)算資源管理研究重慶大學(xué)碩士學(xué)位論文（專(zhuān)業(yè)學(xué)位）學(xué)生姓名：布玲玲指導(dǎo)教師：郭平教授兼職導(dǎo)師：趙偉高工學(xué)位類(lèi)別：工程碩士（計(jì)算機(jī)技術(shù)領(lǐng)域）重慶大學(xué)計(jì)算機(jī)學(xué)院二O一三年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要近年來(lái)，云計(jì)算作為一種新型的計(jì)算模式已經(jīng)越來(lái)越多的被廣泛應(yīng)用和發(fā)展，云計(jì)算平臺(tái)也成為學(xué)術(shù)界爭(zhēng)相研究的對(duì)象，Hadoop憑借其開(kāi)源、低成本、高效性、可擴(kuò)展性和可靠性在眾多的云平臺(tái)中脫穎而出，受到越來(lái)越多的工業(yè)界和學(xué)術(shù)界的

2、重視，并用它作為云計(jì)算環(huán)境中重要的基礎(chǔ)軟件。云計(jì)算是一種能夠?qū)?dòng)態(tài)伸縮的虛擬資源通過(guò)互聯(lián)網(wǎng)以服務(wù)的方式提供給用戶的計(jì)算模式。云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，進(jìn)入可配置的計(jì)算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。Hadoop平臺(tái)是一個(gè)分布式系統(tǒng)架構(gòu)，它是Google公司的DFS和MapReduce的

3、開(kāi)源實(shí)現(xiàn)，適合處理海量數(shù)據(jù)集的應(yīng)用程序。作為一個(gè)新型的分布式云平臺(tái)，其發(fā)展時(shí)間短，系統(tǒng)設(shè)計(jì)方面還存在一定的缺陷，尚處于一個(gè)待完善的階段。資源管理作為Hadoop平臺(tái)的核心技術(shù)之一，資源的管理水平直接影響到云平臺(tái)提供服務(wù)的可用性、可靠性和安全性，而資源管理的有效性很大程度上取決于作業(yè)調(diào)度系統(tǒng)和資源調(diào)度單位模式，資源調(diào)度單位是資源管理的基礎(chǔ)，對(duì)資源管理水平有決定性作用。本文基于大量實(shí)驗(yàn)和文獻(xiàn)知識(shí)，深入研究了現(xiàn)有的Hadoop平臺(tái)中資源管理方

4、式和資源調(diào)度的基本單位時(shí)間片（Slot），分析了該調(diào)度單位對(duì)系統(tǒng)性能的影響，并通過(guò)在Hadoop平臺(tái)中進(jìn)行一系列實(shí)驗(yàn)分析了其存在的不足，最后針對(duì)這些不足提出了細(xì)粒度的資源管理方式。細(xì)粒度的資源管理方式將資源按照CPU、內(nèi)存、網(wǎng)絡(luò)進(jìn)行劃分，系統(tǒng)中提交的作業(yè)按照所需資源類(lèi)型分為了CPU密集型、內(nèi)存密集型、網(wǎng)絡(luò)密集型三類(lèi)。本文給出了基于資源監(jiān)測(cè)數(shù)據(jù)的細(xì)粒度管理的實(shí)現(xiàn)方式，以及資源分配時(shí)應(yīng)遵循的本地化策略和資源剩余最多貪心策略，并對(duì)該管理方式的