支持動態(tài)任務(wù)拓撲與負載分流的流式處理系統(tǒng)——D-Stream的研究與實現(xiàn).pdf

1、大數(shù)據(jù)時代的來臨，為數(shù)據(jù)的實時處理技術(shù)帶來了巨大的變革和挑戰(zhàn)，在這個背景下，D-Stream作為D-Ocean非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的流式處理子系統(tǒng)，為基于海量數(shù)據(jù)實時處理的應(yīng)用提供給了一套通用的、可靠的、可擴展的分布式計算框架。
　　 D-Stream系統(tǒng)的實現(xiàn)基于一套流式處理通用框架設(shè)計，借鑒了S4，Storm等眾多開源流式處理平臺的先進思想。它的功能結(jié)構(gòu)主要包含三大部分:首先是一套簡潔開放的任務(wù)模型，通過D-Stream任務(wù)

2、模型，應(yīng)用能夠根據(jù)需求動態(tài)地定制任務(wù)拓撲。其次是一套可靠穩(wěn)定的流式處理引擎，保障數(shù)據(jù)在計算任務(wù)間快速透明地傳輸，使不同的任務(wù)可以高效地協(xié)調(diào)工作。最后是一個高可用的調(diào)度框架，通過有效調(diào)度計算資源，充分發(fā)揮集群的計算能力，并在消息積壓時提供高效的負載分流機制。
　　 圍繞這三大問題，本文描述了用D-Stream任務(wù)模型為現(xiàn)實應(yīng)用建模的方法。就D-Stream實現(xiàn)部分，介紹了D-Stream組件架構(gòu)和對稱式調(diào)度框架，重點描述了流式處理