分布式業(yè)務(wù)集成部署平臺的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來，隨著應(yīng)用的多樣化發(fā)展和大數(shù)據(jù)時(shí)代的來臨，學(xué)術(shù)界和工業(yè)界設(shè)計(jì)并實(shí)現(xiàn)了多種分布式業(yè)務(wù)系統(tǒng)作為編程框架來應(yīng)對日益增多的數(shù)據(jù)類型和應(yīng)用需求多樣性挑戰(zhàn)，例如適用于離線批處理場景的框架MapReduce、適用于流式計(jì)算場景的框架Storm、適用于內(nèi)存迭代計(jì)算場景的框架Spark、適用于DAG計(jì)算場景的框架Tez、適用于圖計(jì)算場景的框架Pregel等。在未來的發(fā)展中，新的計(jì)算框架有很大概率會持續(xù)性出現(xiàn)。無論是現(xiàn)有框架還是未來的框架，都將專注于

2、特定應(yīng)用場景，不會出現(xiàn)某個(gè)計(jì)算框架能適用于全部的應(yīng)用場景，成為它們共同的最佳選擇。在生產(chǎn)環(huán)境中，分布式業(yè)務(wù)系統(tǒng)經(jīng)常也離不開某些通用服務(wù)，例如Web服務(wù)器、數(shù)據(jù)庫服務(wù)器等。為每個(gè)分布式業(yè)務(wù)系統(tǒng)提供專門的基礎(chǔ)設(shè)施，單獨(dú)設(shè)計(jì)部署存在擴(kuò)展性差、利用率偏低等問題。
　　針對以上這些問題，本文結(jié)合國內(nèi)外現(xiàn)有的研究情況，分析當(dāng)前部署支撐平臺的架構(gòu)和特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了分布式業(yè)務(wù)系統(tǒng)集成部署平臺（Distributed business syste

3、m Deploy Platform，DDP），提供自動化部署分布式業(yè)務(wù)系統(tǒng)并高伸縮定制化運(yùn)營的基礎(chǔ)支撐服務(wù)。主要工作與創(chuàng)新點(diǎn)如下：
　　1．實(shí)現(xiàn)集群復(fù)用，在一個(gè)集群整體上運(yùn)行各種計(jì)算框架等分布式業(yè)務(wù)系統(tǒng)，并根據(jù)異構(gòu)性的業(yè)務(wù)資源請求，自適應(yīng)最優(yōu)匹配的承載節(jié)點(diǎn)?；跇I(yè)務(wù)負(fù)載動態(tài)擴(kuò)容和收縮。按需索取計(jì)算資源，當(dāng)業(yè)務(wù)負(fù)載超過閾值高位值時(shí)，進(jìn)行動態(tài)擴(kuò)容，為業(yè)務(wù)模塊的分配更多的資源，當(dāng)業(yè)務(wù)負(fù)載小于低位值時(shí)，進(jìn)行收縮，回收空閑資源。實(shí)時(shí)監(jiān)控業(yè)務(wù)