非結(jié)構(gòu)化車聯(lián)網(wǎng)大數(shù)據(jù)存儲與處理技術(shù)研究與應(yīng)用.pdf

1、移動互聯(lián)網(wǎng)、衛(wèi)星定位、LBS等技術(shù)的迅速發(fā)展，推動了車聯(lián)網(wǎng)行業(yè)的進步，但也為其帶來了新的挑戰(zhàn)。車聯(lián)網(wǎng)云數(shù)據(jù)中心與綜合服務(wù)平臺匯聚了關(guān)于車輛位置、狀態(tài)、速度、加速度、路網(wǎng)等非結(jié)構(gòu)化的海量車聯(lián)網(wǎng)數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析技術(shù)已經(jīng)無法滿足當前規(guī)模的車聯(lián)網(wǎng)數(shù)據(jù)處理的需求。因此，本文提出引進分布式計算技術(shù)和數(shù)據(jù)存儲技術(shù)，構(gòu)建云服務(wù)信息化平臺，從而實現(xiàn)對車輛進行高效實時監(jiān)控和調(diào)度管理。主要的貢獻如下:
　　1、針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫無法承載海量數(shù)據(jù)的

2、存儲，突破了單表存儲的上限，且數(shù)據(jù)的查詢和寫入性能呈現(xiàn)指數(shù)級別地下降的問題，同時考慮車載終端采集的數(shù)據(jù)海量、高速、非結(jié)構(gòu)化等特點，本文基于HBase與Redis緩存數(shù)據(jù)庫設(shè)計和實現(xiàn)了車聯(lián)網(wǎng)數(shù)據(jù)的存儲和查詢優(yōu)化系統(tǒng)。具體地，利用非關(guān)系型、高性能、可擴展的分布式數(shù)據(jù)庫HBase做存儲，內(nèi)存數(shù)據(jù)庫Redis做數(shù)據(jù)緩存。此外，為了提高存儲，查詢效率，節(jié)省存儲空間，分別從RowKey設(shè)計，服務(wù)器預(yù)分區(qū)，Redis緩存策略，集群參數(shù)調(diào)整等方面進行優(yōu)

3、化。實驗表明，HBase數(shù)據(jù)寫入和查詢性能都有所提升，滿足了非結(jié)構(gòu)化車聯(lián)網(wǎng)大數(shù)據(jù)存儲需求。
　　2、針對傳統(tǒng)車聯(lián)網(wǎng)平臺在處理海量數(shù)據(jù)時存在吞吐量小，實時性差的問題，本文設(shè)計了一種基于大數(shù)據(jù)流處理技術(shù)的實時分析系統(tǒng)。根據(jù)系統(tǒng)高并發(fā)接入以及實時性的需求，引入Storm實時計算系統(tǒng)進行數(shù)據(jù)的實時分析。利用Kafka消息隊列的異步通信機制將各層之間解耦，采用HBase進行海量數(shù)據(jù)存儲，滿足車聯(lián)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)存儲需求。進一步針對訪問數(shù)據(jù)庫開

4、銷大的問題，采用Redis緩存策略，提高查詢效率。最后實驗證明，該系統(tǒng)具有低延遲，高吞吐，可拓展性等特點，能夠滿足車輛網(wǎng)大數(shù)據(jù)流處理要求。
　　3、在車聯(lián)網(wǎng)海量數(shù)據(jù)處理方面，本文重點關(guān)注車輛軌跡數(shù)據(jù)挖掘問題。主要圍繞車輛軌跡數(shù)據(jù)預(yù)處理、停留點提取、軌跡聚類和位置服務(wù)等問題展開研究。具體地，在停留點提取的問題上，綜合考慮軌跡數(shù)據(jù)的時間，速度，空間等多維屬性，提出停留點預(yù)選區(qū)，結(jié)合改進后的K-Means算法對停留點預(yù)選區(qū)進行聚類，獲取