基于Hadoop的城市交通擁堵區(qū)域?qū)崟r(shí)分析系統(tǒng)研究.pdf

1、伴隨著國家經(jīng)濟(jì)發(fā)展和人民生活質(zhì)量提高，城市化進(jìn)程的加快也給人們帶來了一系列問題，城市的汽車保有量呈現(xiàn)快速增長趨勢，上下班節(jié)假日等高峰期的交通擁堵現(xiàn)象嚴(yán)重影響了正常的生活。本文研究的問題是如何利用科學(xué)的手段對擁堵情況進(jìn)行實(shí)時(shí)分析，為警方或者人們提供實(shí)時(shí)的交通擁堵區(qū)域，方便及時(shí)采取合適的措施應(yīng)對交通擁堵帶來的影響。
　　本文在比較和分析了當(dāng)前比較流行的大數(shù)據(jù)處理平臺和框架，了解了相關(guān)技術(shù)后，設(shè)計(jì)了一個(gè)能夠?qū)囕vGPS數(shù)據(jù)進(jìn)行實(shí)時(shí)的采集

2、、處理、分析和顯示的大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)方案?；贖adoop平臺，利用Kafka對車輛GPS數(shù)據(jù)進(jìn)行實(shí)時(shí)采集和傳輸，再基于Spark Streaming數(shù)據(jù)流處理框架改進(jìn)了CluStream數(shù)據(jù)流聚類算法對數(shù)據(jù)進(jìn)行聚類分析，再將處理得到的結(jié)果傳入MySQL數(shù)據(jù)庫和Redis數(shù)據(jù)庫，通過HTTP協(xié)議和WebSocket協(xié)議進(jìn)行數(shù)據(jù)訪問，最后在瀏覽器上顯示實(shí)時(shí)或歷史的交通擁堵區(qū)域。本文的主要工作如下：
　?。?）針對用戶對交通擁堵區(qū)域

3、結(jié)果顯示的不同需求，提出了結(jié)合MySQL數(shù)據(jù)庫和Redis數(shù)據(jù)庫的存儲訪問優(yōu)化策略。根據(jù)MySQL數(shù)據(jù)庫與Redis數(shù)據(jù)庫的不同存儲優(yōu)勢，將存儲的訪問服務(wù)更加細(xì)化，使用HTTP協(xié)議和WebSocket協(xié)議分別對歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行分類訪問，針對用戶的不同需求，提供不同的存儲訪問方式，為系統(tǒng)提供一個(gè)針對性的高質(zhì)量、高效率的處理方案。
　?。?）針對CluStream數(shù)據(jù)流聚類算法的數(shù)據(jù)處理時(shí)效性和算法參數(shù)敏感等問題，提出了結(jié)合了變

4、長滑動窗口和遺傳算法進(jìn)行改進(jìn)的CluStream改進(jìn)算法，使對數(shù)據(jù)流的處理具有更好的實(shí)時(shí)性和可靠性。
　?。?）針對車輛GPS數(shù)據(jù)量大和分析實(shí)時(shí)性要求高的特點(diǎn)，改進(jìn)了CluStream數(shù)據(jù)流聚類算法的并行化策略。借助Spark Streaming的數(shù)據(jù)流分布式計(jì)算框架，實(shí)現(xiàn)了改進(jìn)的CluStream算法的聚類并行化，更好地實(shí)現(xiàn)了對車輛GPS數(shù)據(jù)流的實(shí)時(shí)、高效的聚類處理。
　　本文針對城市交通擁堵區(qū)域分析而設(shè)計(jì)的大數(shù)據(jù)實(shí)時(shí)分析