基于Hadoop的交通物流大數(shù)據(jù)處理系統(tǒng)設計與實現(xiàn).pdf

1、近年來，大數(shù)據(jù)處理技術對于各行業(yè)和政府部門的決策分析和運營起到日漸重要的作用。本文以某省交通物流云平臺項目為背景，該項目要求以 MapReduce作業(yè)執(zhí)行框架和Hadoop為技術基礎，為數(shù)以千計的交通物流企業(yè)和政府部門的交通物流SaaS應用提供大數(shù)據(jù)處理服務。由于面向交通物流的大數(shù)據(jù)處理應用開發(fā)涉及交通物流業(yè)務專家、數(shù)據(jù)分析專家和應用程序開發(fā)人員等多個角色，因此，如何實現(xiàn)多角色協(xié)同的大數(shù)據(jù)處理應用敏捷開發(fā)是需要解決的關鍵問題。另外，雖然

2、 MapReduce工作流引擎 Oozie可支持大數(shù)據(jù)處理應用的流程化組裝，但是，如何防止 Oozie在執(zhí)行時由于結點之間的數(shù)據(jù)依賴而導致執(zhí)行效率低，也是需要解決的實際問題。針對上述問題，本文在對MapReduce、Hadoop、Oozie等相關技術進行分析的基礎上，提出并實現(xiàn)了一種上下游結點部分并行的MapReduce工作流執(zhí)行優(yōu)化方案，設計并實現(xiàn)了一個支持協(xié)同開發(fā)和工作流組裝的交通物流大數(shù)據(jù)處理系統(tǒng)，測試和應用情況表明，該系統(tǒng)是可行

3、及有效的。
　　本研究主要內(nèi)容包括：⑴針對MapReduce工作流執(zhí)行效率低的問題，提出上下游結點部分并行的MapReduce工作流執(zhí)行優(yōu)化方案。該方案利用MapReduce作業(yè)的Reduce Task完成時間不同的特點，下游結點不必等待上游結點完全結束即可觸發(fā)執(zhí)行，從而使上下游結點部分并行執(zhí)行，提高工作流執(zhí)行效率。⑵在Hadoop的基礎上，提出并實現(xiàn)支持追加輸入的MapReduce作業(yè)執(zhí)行框架。該框架支持正在執(zhí)行的MapRedu

4、ce作業(yè)可追加輸入數(shù)據(jù)，從而為上下游結點部分并行的MapReduce工作流引擎提供基礎。⑶在Oozie的基礎上，實現(xiàn)支持上下游結點部分并行的MapReduce工作流引擎，該引擎具有雙執(zhí)行器，能夠自動識別具有MapReduce作業(yè)的工作流并選擇上下游結點部分并行模式執(zhí)行。對比實驗結果表明，在Reduce Task數(shù)量大于集群中Reduce Slot數(shù)量時，采用部分并行執(zhí)行模式的工作流執(zhí)行效率提高19％左右。⑷針對多角色協(xié)同的大數(shù)據(jù)處理應用