分布式虛擬化計(jì)算平臺(tái)高可靠任務(wù)拆分系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和移動(dòng)通信業(yè)務(wù)的興起，用戶的數(shù)據(jù)量呈爆炸式的增長(zhǎng)，尤其是在電信行業(yè)。新穎的電信增值業(yè)務(wù)不斷推出，電信客戶群不斷增多等都直接導(dǎo)致了電信業(yè)務(wù)量的迅速增長(zhǎng)。此外，由于用戶對(duì)電信業(yè)務(wù)的服務(wù)在實(shí)時(shí)性、安全性和穩(wěn)定性方面有著極高的要求，所以就如何及時(shí)的處理海量數(shù)據(jù)集這一問(wèn)題已成為了當(dāng)前的研究熱點(diǎn)。
　　國(guó)際上提出的“云計(jì)算”概念就是用以解決對(duì)海量數(shù)據(jù)集的處理問(wèn)題的。目前在這方面有著較成熟應(yīng)用的主要有Google的云計(jì)算

2、應(yīng)用平臺(tái)、Amazon的彈性計(jì)算云、IBM的藍(lán)云計(jì)算平臺(tái)，但是這些技術(shù)還沒(méi)有應(yīng)用于電信行業(yè)。本文主要研究分布式計(jì)算在電信項(xiàng)目中的應(yīng)用。首先結(jié)合當(dāng)前國(guó)內(nèi)外的研究現(xiàn)狀和發(fā)展態(tài)勢(shì)，分析現(xiàn)有云計(jì)算的架構(gòu)，再根據(jù)自身項(xiàng)目的具體需求，設(shè)計(jì)出分布式虛擬化計(jì)算平臺(tái)（Distributed Virtual Computing Platform，DVCP）中的高可靠任務(wù)拆分系統(tǒng)。
　　本文的主要工作有以下幾點(diǎn)：
　　第一，從整體上介紹DVCP項(xiàng)

3、目。該項(xiàng)目對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行實(shí)時(shí)的采集、統(tǒng)計(jì)和分析。使系統(tǒng)在滿足新興的業(yè)務(wù)服務(wù)的同時(shí)還能繼續(xù)提供傳統(tǒng)業(yè)務(wù)服務(wù)。
　　第二，任務(wù)拆分模塊的設(shè)計(jì)與實(shí)現(xiàn)。本模塊的設(shè)計(jì)基于Epoll和線程池的服務(wù)框架。采用Epoll異步事件驅(qū)動(dòng)機(jī)制處理網(wǎng)絡(luò)IO請(qǐng)求，采用線程池模型處理磁盤IO的異步操作，提高IO效率。任務(wù)拆分采用MapReduce并行計(jì)算架構(gòu)，可以解決大數(shù)據(jù)集的分布式計(jì)算問(wèn)題，采用這種方法對(duì)電信數(shù)據(jù)進(jìn)行處理能夠大大提高對(duì)數(shù)據(jù)統(tǒng)計(jì)分析的能力