基于Hadoop的車流信息管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、近年來,隨著人們經(jīng)濟(jì)生活水平的不斷提高,機動車已經(jīng)逐漸走進(jìn)大眾家庭,成為重要交通工具之一。車輛在給人們帶來方便的同時也逐漸被犯罪分子所利用,成為實施綁架、搶劫等暴力犯罪活動的工具。因此,在特定案件的偵辦過程中,車流信息已經(jīng)成為偵查破案工作的重要依據(jù)。據(jù)交警部門統(tǒng)計,隨著公安信息化建設(shè)的不斷推進(jìn),車流信息采集點將逐步覆蓋主要城區(qū)的主要道路口,車流數(shù)據(jù)的增長將由原有的TB級增長為PB級。
　　原有的交警車流管理系統(tǒng)的架構(gòu)模式采用的是C

2、/S模式,系統(tǒng)擴(kuò)展性較差,不能很好的滿足異地辦案工作的要求;原有系統(tǒng)只能簡單存儲結(jié)構(gòu)化的數(shù)據(jù),對于車輛外觀圖片、音視頻等非結(jié)構(gòu)化數(shù)據(jù)無法進(jìn)行存儲;原有系統(tǒng)存儲容量有限,無法滿足快速增長的車流數(shù)據(jù)存儲的應(yīng)用要求;原有系統(tǒng)建設(shè)初衷是服務(wù)于交警車流管理工作,對特定車輛信息無法在地圖上開展定位查詢工作,造成偵查部門辦案思路難以在系統(tǒng)上形象直觀地展現(xiàn)。因此,車流信息管理系統(tǒng)的建設(shè)對公安系統(tǒng)辦案人員意義重大。
　　針對上述問題,本文首先對原有

3、系統(tǒng)在實戰(zhàn)應(yīng)用中所存在的問題進(jìn)行深入分析,通過研究云計算開源平臺Hadoop及相關(guān)開源技術(shù),設(shè)計并實現(xiàn)了一種基于Hadoop的車流信息管理系統(tǒng)。該系統(tǒng)采用B/S架構(gòu)替代原有的C/S架構(gòu),采用Hadoop作為底層的數(shù)據(jù)庫引擎,同時以Hbase作為Key/Value鍵值來保存非結(jié)構(gòu)化數(shù)據(jù),使用Hive數(shù)據(jù)倉庫工具對車流結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)加載和數(shù)據(jù)訪問。為使用戶能夠在地圖上快速獲取數(shù)據(jù)源,本文對數(shù)據(jù)存儲層的分布式內(nèi)存緩存技術(shù) Memcache

4、進(jìn)行研究設(shè)計,在實時獲取數(shù)據(jù)后,本文詳細(xì)地闡述了電子地圖軌跡跟蹤的設(shè)計與實現(xiàn)過程。最后,本文展現(xiàn)了系統(tǒng)部分功能模塊的運行效果,并通過功能測試及性能測試驗證系統(tǒng)的穩(wěn)定性和擴(kuò)展性。
　　本論文的研究工作主要有以下幾個方面:
　　(1)車流信息管理系統(tǒng)的功能主要包括實時定位查詢、歷史查詢、條件預(yù)警。由于辦案人員經(jīng)常需要在不同地方進(jìn)行協(xié)同作戰(zhàn),具有跨地域性、實時性的辦案特點。本文提出了一種基于B/S的車流信息管理系統(tǒng)架構(gòu),針對海量車

5、流數(shù)據(jù)的發(fā)展趨勢,設(shè)計和實現(xiàn)了以Hadoop作為底層的數(shù)據(jù)庫引擎,以Hbase作為Key/Value鍵值對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲,以Hive數(shù)據(jù)倉庫工具來對車流信息的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)加載和數(shù)據(jù)訪問,有效地解決了原有基于C/S架構(gòu)系統(tǒng)的運行效率和存儲容量問題。
　　(2)系統(tǒng)采用基于Flex+Java的富客戶端技術(shù)進(jìn)行三層架構(gòu)的分析與設(shè)計。每層各司其職,表示層負(fù)責(zé)業(yè)務(wù)的發(fā)起與數(shù)據(jù)展現(xiàn),服務(wù)層負(fù)責(zé)業(yè)務(wù)的邏輯運算處理,數(shù)據(jù)存儲層負(fù)責(zé)數(shù)據(jù)

6、的加載、訪問和管理?；谶@種分層模式,用戶可以得到更好的體驗效果,直觀的數(shù)據(jù)展現(xiàn)、流暢的操作、合理的業(yè)務(wù)邏輯、高效的存儲性能,可以極大的提升偵查辦案人員進(jìn)行異地、實時應(yīng)用操作的效率。
　　(3)車流信息管理系統(tǒng)需要對海量的車流數(shù)據(jù)進(jìn)行分類處理與訪問,由于車流數(shù)據(jù)存在結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)類型,傳統(tǒng)型的關(guān)系數(shù)據(jù)庫的二維邏輯列表無法存儲非結(jié)構(gòu)化數(shù)據(jù),且原有系統(tǒng)數(shù)據(jù)搜索速度跟不上業(yè)務(wù)應(yīng)用的發(fā)展要求,本文提出了一種基于范圍和hash的數(shù)據(jù)

7、分片的節(jié)點間索引策略,針對非結(jié)構(gòu)化的數(shù)據(jù)存儲,主要通過Hbase配置優(yōu)化、表的分區(qū)分割以及Key的設(shè)計三種方式完成非結(jié)構(gòu)化數(shù)據(jù)的處理。通過這樣的設(shè)計與優(yōu)化,可以提高數(shù)據(jù)搜索的精確率,大大降低系統(tǒng)的I/O損耗。
　　(4)車流信息管理系統(tǒng)需要實現(xiàn)特定車輛的地圖實時軌跡跟蹤,同時需要滿足至少100個用戶可以同時使用該功能,本文在系統(tǒng)的表現(xiàn)層通過實現(xiàn)一個消息隊列,客戶端Flex地圖通過BlazeDS以每2秒/次的頻率來訪問服務(wù)端的消息隊