基于Hadoop的車流信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái),隨著人們經(jīng)濟(jì)生活水平的不斷提高,機(jī)動(dòng)車已經(jīng)逐漸走進(jìn)大眾家庭,成為重要交通工具之一。車輛在給人們帶來(lái)方便的同時(shí)也逐漸被犯罪分子所利用,成為實(shí)施綁架、搶劫等暴力犯罪活動(dòng)的工具。因此,在特定案件的偵辦過(guò)程中,車流信息已經(jīng)成為偵查破案工作的重要依據(jù)。據(jù)交警部門統(tǒng)計(jì),隨著公安信息化建設(shè)的不斷推進(jìn),車流信息采集點(diǎn)將逐步覆蓋主要城區(qū)的主要道路口,車流數(shù)據(jù)的增長(zhǎng)將由原有的TB級(jí)增長(zhǎng)為PB級(jí)。
　　原有的交警車流管理系統(tǒng)的架構(gòu)模式采用的是C

2、/S模式,系統(tǒng)擴(kuò)展性較差,不能很好的滿足異地辦案工作的要求;原有系統(tǒng)只能簡(jiǎn)單存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù),對(duì)于車輛外觀圖片、音視頻等非結(jié)構(gòu)化數(shù)據(jù)無(wú)法進(jìn)行存儲(chǔ);原有系統(tǒng)存儲(chǔ)容量有限,無(wú)法滿足快速增長(zhǎng)的車流數(shù)據(jù)存儲(chǔ)的應(yīng)用要求;原有系統(tǒng)建設(shè)初衷是服務(wù)于交警車流管理工作,對(duì)特定車輛信息無(wú)法在地圖上開展定位查詢工作,造成偵查部門辦案思路難以在系統(tǒng)上形象直觀地展現(xiàn)。因此,車流信息管理系統(tǒng)的建設(shè)對(duì)公安系統(tǒng)辦案人員意義重大。
　　針對(duì)上述問(wèn)題,本文首先對(duì)原有

3、系統(tǒng)在實(shí)戰(zhàn)應(yīng)用中所存在的問(wèn)題進(jìn)行深入分析,通過(guò)研究云計(jì)算開源平臺(tái)Hadoop及相關(guān)開源技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了一種基于Hadoop的車流信息管理系統(tǒng)。該系統(tǒng)采用B/S架構(gòu)替代原有的C/S架構(gòu),采用Hadoop作為底層的數(shù)據(jù)庫(kù)引擎,同時(shí)以Hbase作為Key/Value鍵值來(lái)保存非結(jié)構(gòu)化數(shù)據(jù),使用Hive數(shù)據(jù)倉(cāng)庫(kù)工具對(duì)車流結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)加載和數(shù)據(jù)訪問(wèn)。為使用戶能夠在地圖上快速獲取數(shù)據(jù)源,本文對(duì)數(shù)據(jù)存儲(chǔ)層的分布式內(nèi)存緩存技術(shù) Memcache

4、進(jìn)行研究設(shè)計(jì),在實(shí)時(shí)獲取數(shù)據(jù)后,本文詳細(xì)地闡述了電子地圖軌跡跟蹤的設(shè)計(jì)與實(shí)現(xiàn)過(guò)程。最后,本文展現(xiàn)了系統(tǒng)部分功能模塊的運(yùn)行效果,并通過(guò)功能測(cè)試及性能測(cè)試驗(yàn)證系統(tǒng)的穩(wěn)定性和擴(kuò)展性。
　　本論文的研究工作主要有以下幾個(gè)方面:
　　(1)車流信息管理系統(tǒng)的功能主要包括實(shí)時(shí)定位查詢、歷史查詢、條件預(yù)警。由于辦案人員經(jīng)常需要在不同地方進(jìn)行協(xié)同作戰(zhàn),具有跨地域性、實(shí)時(shí)性的辦案特點(diǎn)。本文提出了一種基于B/S的車流信息管理系統(tǒng)架構(gòu),針對(duì)海量車

5、流數(shù)據(jù)的發(fā)展趨勢(shì),設(shè)計(jì)和實(shí)現(xiàn)了以Hadoop作為底層的數(shù)據(jù)庫(kù)引擎,以Hbase作為Key/Value鍵值對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ),以Hive數(shù)據(jù)倉(cāng)庫(kù)工具來(lái)對(duì)車流信息的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)加載和數(shù)據(jù)訪問(wèn),有效地解決了原有基于C/S架構(gòu)系統(tǒng)的運(yùn)行效率和存儲(chǔ)容量問(wèn)題。
　　(2)系統(tǒng)采用基于Flex+Java的富客戶端技術(shù)進(jìn)行三層架構(gòu)的分析與設(shè)計(jì)。每層各司其職,表示層負(fù)責(zé)業(yè)務(wù)的發(fā)起與數(shù)據(jù)展現(xiàn),服務(wù)層負(fù)責(zé)業(yè)務(wù)的邏輯運(yùn)算處理,數(shù)據(jù)存儲(chǔ)層負(fù)責(zé)數(shù)據(jù)

6、的加載、訪問(wèn)和管理?；谶@種分層模式,用戶可以得到更好的體驗(yàn)效果,直觀的數(shù)據(jù)展現(xiàn)、流暢的操作、合理的業(yè)務(wù)邏輯、高效的存儲(chǔ)性能,可以極大的提升偵查辦案人員進(jìn)行異地、實(shí)時(shí)應(yīng)用操作的效率。
　　(3)車流信息管理系統(tǒng)需要對(duì)海量的車流數(shù)據(jù)進(jìn)行分類處理與訪問(wèn),由于車流數(shù)據(jù)存在結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)類型,傳統(tǒng)型的關(guān)系數(shù)據(jù)庫(kù)的二維邏輯列表無(wú)法存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù),且原有系統(tǒng)數(shù)據(jù)搜索速度跟不上業(yè)務(wù)應(yīng)用的發(fā)展要求,本文提出了一種基于范圍和hash的數(shù)據(jù)

7、分片的節(jié)點(diǎn)間索引策略,針對(duì)非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ),主要通過(guò)Hbase配置優(yōu)化、表的分區(qū)分割以及Key的設(shè)計(jì)三種方式完成非結(jié)構(gòu)化數(shù)據(jù)的處理。通過(guò)這樣的設(shè)計(jì)與優(yōu)化,可以提高數(shù)據(jù)搜索的精確率,大大降低系統(tǒng)的I/O損耗。
　　(4)車流信息管理系統(tǒng)需要實(shí)現(xiàn)特定車輛的地圖實(shí)時(shí)軌跡跟蹤,同時(shí)需要滿足至少100個(gè)用戶可以同時(shí)使用該功能,本文在系統(tǒng)的表現(xiàn)層通過(guò)實(shí)現(xiàn)一個(gè)消息隊(duì)列,客戶端Flex地圖通過(guò)BlazeDS以每2秒/次的頻率來(lái)訪問(wèn)服務(wù)端的消息隊(duì)