支持動(dòng)態(tài)任務(wù)拓?fù)渑c負(fù)載分流的流式處理系統(tǒng)——D-Stream的研究與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時(shí)代的來(lái)臨，為數(shù)據(jù)的實(shí)時(shí)處理技術(shù)帶來(lái)了巨大的變革和挑戰(zhàn)，在這個(gè)背景下，D-Stream作為D-Ocean非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的流式處理子系統(tǒng)，為基于海量數(shù)據(jù)實(shí)時(shí)處理的應(yīng)用提供給了一套通用的、可靠的、可擴(kuò)展的分布式計(jì)算框架。
　　 D-Stream系統(tǒng)的實(shí)現(xiàn)基于一套流式處理通用框架設(shè)計(jì)，借鑒了S4，Storm等眾多開(kāi)源流式處理平臺(tái)的先進(jìn)思想。它的功能結(jié)構(gòu)主要包含三大部分:首先是一套簡(jiǎn)潔開(kāi)放的任務(wù)模型，通過(guò)D-Stream任務(wù)

2、模型，應(yīng)用能夠根據(jù)需求動(dòng)態(tài)地定制任務(wù)拓?fù)?。其次是一套可靠穩(wěn)定的流式處理引擎，保障數(shù)據(jù)在計(jì)算任務(wù)間快速透明地傳輸，使不同的任務(wù)可以高效地協(xié)調(diào)工作。最后是一個(gè)高可用的調(diào)度框架，通過(guò)有效調(diào)度計(jì)算資源，充分發(fā)揮集群的計(jì)算能力，并在消息積壓時(shí)提供高效的負(fù)載分流機(jī)制。
　　 圍繞這三大問(wèn)題，本文描述了用D-Stream任務(wù)模型為現(xiàn)實(shí)應(yīng)用建模的方法。就D-Stream實(shí)現(xiàn)部分，介紹了D-Stream組件架構(gòu)和對(duì)稱式調(diào)度框架，重點(diǎn)描述了流式處理