云環(huán)境下本地大規(guī)模數(shù)據(jù)處理的體系結構研究.pdf

1、本文為解決云服務供應商所面臨的基本數(shù)據(jù)管理挑戰(zhàn)，對大規(guī)模云環(huán)境下計算基礎設施所產(chǎn)生的半結構化日志數(shù)據(jù)的分析處理工作做了進一步深入研究。分析處理工作是云服務供應商業(yè)務的一個重要方面，通過挖掘用戶的行為模式和確保有效地利用資源都能讓云服務供應商處于競爭優(yōu)勢地位。然而，云計算環(huán)境中產(chǎn)生的數(shù)據(jù)量正在以比摩爾定律更快的速度迅速增加，海量的數(shù)據(jù)使分析處理工作顯得更加困難。為解決大數(shù)據(jù)的分析處理工作，目前的大部分方法是將數(shù)據(jù)轉(zhuǎn)移到中心位置，然后再分析

2、，這種方式將產(chǎn)生顯著的額外成本和時延。隨著云計算環(huán)境規(guī)模的增加，僅數(shù)據(jù)遷移的時間和成本問題，都會使這些方法不可行。
　　本文提出了持續(xù)的MapReduce(ContinuousMapReduce，CMR)，一種本地處理大型數(shù)據(jù)的體系結構。為了更好地處理成千上萬數(shù)據(jù)中心服務器的大量日志，CMR被設計成可擴展的，響應迅速的和高度有效的高性能體系結構。CMR擴展了MapReduee編程模型，在分布式流處理概念的基礎上，允許在這些大數(shù)據(jù)流

3、中持續(xù)查詢。CMR突出的結構特征分別包括本地處理的方法，帶滑動塊窗口的增量處理，以及放寬的一致性模型。
　　本文使用Mortar操作建立了一個原型CMR的體系結構，一個分布式流處理器，并通過與當前批處理系統(tǒng)進行對比，對其進行評估。實驗結果表明，對于批查詢或持續(xù)查詢，這種分布式流處理器方法可以減少30％的結果延遲。此外，CMR的一致性模型，使其在節(jié)點部分失效情況下能夠快速返回處理結果，并且仍然能保持較高的結果精確性。通過以上實驗結果