分布式海量數(shù)據(jù)處理系統(tǒng)計(jì)算節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，各類大型企業(yè)和互聯(lián)網(wǎng)公司對數(shù)據(jù)的處理形式越來越多樣化。一般情況下，需要對用戶海量數(shù)據(jù)進(jìn)行有效地處理及分析。由于數(shù)據(jù)量巨大，所需的計(jì)算量不是單臺(tái)電腦在合理的時(shí)間內(nèi)能夠完成的。針對海量數(shù)據(jù)處理的應(yīng)用背景，我們設(shè)計(jì)實(shí)現(xiàn)了基于分布式計(jì)算的海量數(shù)據(jù)處理系統(tǒng)。本文主要針對這一系統(tǒng)中的子節(jié)點(diǎn)分布式計(jì)算節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)展開研究。分布式海量數(shù)據(jù)處理系統(tǒng)的目的在于快速的處理海量數(shù)據(jù)，即具有高效和高可靠的數(shù)據(jù)分析處理機(jī)制。其思想主要是借

2、鑒Map/Reduce的基本思想將海量數(shù)據(jù)以結(jié)構(gòu)化的形式分布到多個(gè)數(shù)據(jù)節(jié)點(diǎn)中，再根據(jù)一系列的計(jì)算，從多個(gè)數(shù)據(jù)節(jié)點(diǎn)中提取用戶需要的數(shù)據(jù)進(jìn)行分析和查詢。本文著重介紹系統(tǒng)中計(jì)算節(jié)點(diǎn)的設(shè)計(jì)思想與實(shí)現(xiàn)技術(shù)，提出了多層次通信處理框架，并在此框架上設(shè)計(jì)了一種動(dòng)態(tài)分級歸并查詢策略，實(shí)現(xiàn)一個(gè)具有高效及高可靠性的分布式計(jì)算系統(tǒng)。
　　本研究主要內(nèi)容包括：⑴分布式海量數(shù)據(jù)處理系統(tǒng)的基礎(chǔ)架構(gòu)設(shè)計(jì)。通過對現(xiàn)有的分布式計(jì)算技術(shù)的研究與對比，面向電信數(shù)據(jù)提出了

3、主要由主控節(jié)點(diǎn)與計(jì)算資源池節(jié)點(diǎn)組成的分布式海量數(shù)據(jù)處理系統(tǒng)的基本結(jié)構(gòu)框架，該架構(gòu)滿足了電信海量數(shù)據(jù)分布式計(jì)算的要求，避免由集中式系統(tǒng)或純分布式系統(tǒng)所帶來的不可靠性、可控性不高等問題。⑵子系統(tǒng)計(jì)算節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)。設(shè)計(jì)并實(shí)現(xiàn)了分布式海量數(shù)據(jù)處理系統(tǒng)中計(jì)算節(jié)點(diǎn)服務(wù)器的多層次通信框架結(jié)構(gòu)，使之具有高性能高可擴(kuò)展性，實(shí)現(xiàn)業(yè)務(wù)與平臺(tái)無關(guān)性，并針對電信大量數(shù)據(jù)提供了實(shí)際應(yīng)用中（對網(wǎng)元數(shù)據(jù)進(jìn)行收集，匯總，查詢）的分布式計(jì)算功能。⑶計(jì)算節(jié)點(diǎn)中查詢?nèi)蝿?wù)機(jī)