分布式高可靠性海量數(shù)據(jù)處理系統(tǒng)中控節(jié)點(diǎn)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著電信業(yè)務(wù)向社會(huì)民生領(lǐng)域縱深方向推進(jìn)，傳統(tǒng)業(yè)務(wù)規(guī)模不斷擴(kuò)大，新興業(yè)務(wù)不斷興起，電信服務(wù)提供商面臨著巨大的數(shù)據(jù)壓力，主要包括：如何快速而及時(shí)的對(duì)大規(guī)模電信數(shù)據(jù)進(jìn)行采集；在多任務(wù)的環(huán)境下對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析和匯總；多用戶環(huán)境下對(duì)大規(guī)模電信結(jié)構(gòu)化數(shù)據(jù)進(jìn)行快速的查詢；如何保證電信數(shù)據(jù)的安全性等。這些問(wèn)題都是目前電信集中式服務(wù)器所不能解決的。為此，設(shè)計(jì)了分布式海量數(shù)據(jù)處理系統(tǒng)（簡(jiǎn)稱DMDPS），利用分布式計(jì)算的技術(shù)，解決電信服務(wù)提供商面臨的問(wèn)題

2、。
　　本文主要針對(duì) DMDPS分布式架構(gòu)中的中心控制節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)作了詳細(xì)闡述，并針對(duì)新環(huán)境下現(xiàn)有的負(fù)載均衡策略存在的問(wèn)題提出了有效解決方案。主要工作如下：（1）在獨(dú)立實(shí)現(xiàn)的MapReduce計(jì)算框架中，實(shí)現(xiàn)了對(duì)大任務(wù)與子任務(wù)的調(diào)度架構(gòu)，利用雙層調(diào)度機(jī)制，對(duì)兩者進(jìn)行管理并高效的推進(jìn)兩者狀態(tài)機(jī)的執(zhí)行；（2）通過(guò)對(duì)整個(gè)系統(tǒng)的有效調(diào)度，完成了數(shù)據(jù)采集、數(shù)據(jù)分析與匯總、數(shù)據(jù)實(shí)時(shí)查詢和容災(zāi)與恢復(fù)等業(yè)務(wù)流程，利用二叉樹(shù)動(dòng)態(tài)歸并算法實(shí)現(xiàn)了對(duì)

3、海量結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)查詢；（3）采用任務(wù)在主備機(jī)間實(shí)時(shí)同步機(jī)制，實(shí)現(xiàn)了中控節(jié)點(diǎn)的高可靠性與高可用性。同時(shí)，在任務(wù)調(diào)度與負(fù)載均衡方面，針對(duì)系統(tǒng)實(shí)際部署運(yùn)行環(huán)境的問(wèn)題，提出了兩個(gè)新的算法：（1）由于系統(tǒng)引進(jìn)了虛擬化技術(shù)，針對(duì)異構(gòu)環(huán)境下的慢任務(wù)調(diào)度抖動(dòng)的問(wèn)題，以相對(duì)能力度量值為基礎(chǔ)提出了一種動(dòng)態(tài)的預(yù)判算法；（2）針對(duì)計(jì)算節(jié)點(diǎn)與數(shù)據(jù)庫(kù)集群的映射關(guān)系，通過(guò)簡(jiǎn)單的等待策略，減少了任務(wù)與數(shù)據(jù)間的相對(duì)距離，提高了系統(tǒng)的吞吐率。
　　針對(duì)上述中控節(jié)