一種流式計算平臺的設計與實現(xiàn).pdf

1、隨著信息技術和互聯(lián)網(wǎng)的發(fā)展，基于流式數(shù)據(jù)的應用越來越多，傳統(tǒng)的計算架構(gòu)已經(jīng)無法滿足這類應用的需求。本文針對于基于數(shù)據(jù)采集和在線統(tǒng)計分析等Web應用的現(xiàn)實問題，設計并實現(xiàn)了一個流式計算平臺Mos。Mos是一個分布式、高可用、可擴展、低延遲、基于Map Reduce編程模型的流式計算平臺，能夠滿足對實時應用的需求。
　　 本文深入分析了當前若干主流的分布式系統(tǒng)的架構(gòu)，以實現(xiàn)一個流式計算平臺為目標，緊緊圍繞著可擴展性、低延遲和高可用性

2、三方面展開研究，本文的主要工作為：
　　 (1)分析和總結(jié)了目前主流平臺的特點，吸取了其中優(yōu)秀的思想，完成了Mos架構(gòu)的設計與實現(xiàn)。
　　 (2)由于流式計算平臺低延遲的要求，集群的負載平衡是影響系統(tǒng)性能的關鍵問題，本文深入探討了負載平衡問題，并提出了一種基于資源利用率的、動態(tài)變化的負載平衡策略，使得任務會隨著節(jié)點運行情況實現(xiàn)動態(tài)調(diào)整。
　　 (3)要保證一個系統(tǒng)的可用性，需要對錯誤有一定的容忍度，本文提出了一種