基于Hadoop的海量城市交通流數據分布式存儲與分析研究.pdf

1、隨著智能交通基礎建設的快速發(fā)展，城鎮(zhèn)居民收入水平逐步提高，城市汽車擁有量大幅度增加。遍布每個城市道路的感應線圈、卡口斷面系統，能夠及時地采集、記錄、匯總并上傳監(jiān)控數據。但是由于城市道路交通流存在著數據量大、實時性高等特點，傳統的數據存儲與處理技術存在著數據結構與數據存儲容量無法靈活擴展、分布式并行數據挖掘難、高容錯恢復能力差等問題。如何將海量的交通流數據實時地上傳、匯總和存儲利用，以及如何對數據進行統計挖掘成為一個較大的難題。以Hado

2、op為代表的大數據技術成為解決這一系列問題的有效手段之一。
　　基于現階段城市交通發(fā)展帶來的數據存儲與分析等突出問題，本文通過對基于Hadoop的MapReduce、HBase等大數據技術的研究，提出了相應的解決方案，其主要研究工作和成果如下:
　　(1)本文提出了基于Hadoop的交通流數據存儲與分析總體架構。將架構分為5個層面:數據采集層、硬件平臺層、數據存儲與計算層、挖掘分析層和應用服務層，同時研究與設計了節(jié)點在故障或

3、宕機情況下，Hadoop集群具有高容錯恢復能力的可用性方案。
　　(2)本文提出了基于HBase的海量交通流數據分布式存儲方案。根據交通流數據特點與處理應用需求，設計了可解決“熱點”問題的交通流數據表行健結構。同時研究了HBase的協處理器，設計了用于針對列查詢的快速數據檢索的二級索引表。
　　(3)本文還根據交通車流量與密度的關系，設計了流量與密度計算模型，提出了基于MapReduce的流量密度計算的并行化實現，解決了海量

4、交通流數據情況下的流量、密度快速計算難題。同時，采用K近鄰非參數回歸算法來預測短時交通流，通過對K近鄰狀態(tài)向量、距離度量方式、近鄰個數以及預測算法的選擇及研究，提出了基于MapReduce的KNN預測短時交通流的并行化實現，加快K最近鄰算法的搜索速度，實現對短時交通流的定時預測。
　　(4)最后，根據總體架構應用層需求，基于Hadoop平臺，構建并實現了城市道路交通流數據分析系統。本文對系統進行了詳細的功能模塊設計，并實現了對交通