智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf

1、高速公路作為經(jīng)濟(jì)運(yùn)輸大動(dòng)脈，承擔(dān)的運(yùn)輸量與經(jīng)濟(jì)和社會(huì)需求同步增長(zhǎng)。目前高速公路在建設(shè)管理、運(yùn)營(yíng)管理、養(yǎng)護(hù)管理及服務(wù)等方面也呈現(xiàn)出一些問題，如體制分散、缺乏統(tǒng)一協(xié)調(diào)，出現(xiàn)了“信息孤島”、缺乏對(duì)交通信息的綜合利用等。隨著物聯(lián)網(wǎng)、云計(jì)算、人工智能、自動(dòng)控制、移動(dòng)互聯(lián)網(wǎng)等技術(shù)在交通領(lǐng)域中的充分運(yùn)用，“智慧高速”也應(yīng)運(yùn)而生。智慧高速通過充分地“感知”高速公路，實(shí)現(xiàn)信息深度融合、數(shù)據(jù)分析和挖掘，采用準(zhǔn)確的模型和控制系統(tǒng)，為管理者和出行者提供協(xié)同管理

2、和智慧服務(wù)。但在智慧高速建設(shè)過程中，“感知”的數(shù)據(jù)具有種類繁多、數(shù)據(jù)量大、存儲(chǔ)分散等特性，因此數(shù)據(jù)的有效存儲(chǔ)、高效率的數(shù)據(jù)檢索、數(shù)據(jù)的深度融合是目前智慧高速重點(diǎn)研究?jī)?nèi)容之一。
　　本文以某區(qū)智慧高速為研究對(duì)象，結(jié)合當(dāng)前該區(qū)智慧高速的建設(shè)情況及數(shù)據(jù)的特點(diǎn)，以Hadoop大數(shù)據(jù)平臺(tái)為基礎(chǔ)，對(duì)智慧高速數(shù)據(jù)中心海量異構(gòu)數(shù)據(jù)處理的相關(guān)關(guān)鍵技術(shù)進(jìn)行研究，主要有以下幾方面的研究工作。
　　(1)分析云計(jì)算和Hadoop相關(guān)技術(shù)，主要包含H

3、DFS分布式文件、MapReduce分布式計(jì)算框架和HBase分布式數(shù)據(jù)庫等技術(shù)。
　　(2)在對(duì)該區(qū)智慧高速建設(shè)情況和數(shù)據(jù)特點(diǎn)分析基礎(chǔ)上，構(gòu)建了智慧高速海量異構(gòu)數(shù)據(jù)處理總體架構(gòu)，實(shí)現(xiàn)了海量異構(gòu)數(shù)據(jù)處理流程。同時(shí)，根據(jù)用戶的需求，確定了智慧高速海量異構(gòu)數(shù)據(jù)處理的相關(guān)關(guān)鍵技術(shù)，包括數(shù)據(jù)遷移、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)檢索技術(shù)等。
　　(3)實(shí)現(xiàn)了智慧高速海量異構(gòu)數(shù)據(jù)關(guān)鍵技術(shù)中的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)遷移、數(shù)據(jù)檢索等的研究和方案設(shè)計(jì)。設(shè)計(jì)了數(shù)據(jù)存儲(chǔ)

4、結(jié)構(gòu)、關(guān)系型數(shù)據(jù)表與HBase表的映射規(guī)則。提出了基于磁盤讀寫調(diào)度的結(jié)構(gòu)化數(shù)據(jù)遷移和基于Apache VFS的非結(jié)構(gòu)化數(shù)據(jù)遷移方案。設(shè)計(jì)了一種基于HBase二級(jí)索引的數(shù)據(jù)檢索策略，結(jié)合數(shù)據(jù)緩存層，提高復(fù)雜條件的數(shù)據(jù)檢索效率。
　　(4)在智慧高速海量異構(gòu)數(shù)據(jù)處理總體架構(gòu)上，對(duì)智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明:基于磁盤讀寫調(diào)度器的結(jié)構(gòu)化數(shù)據(jù)遷移與默認(rèn)調(diào)度器相比，隨著數(shù)據(jù)遷移量的增加，遷移效率明顯提升;設(shè)計(jì)