支持車輛在線監(jiān)管的大規(guī)模數(shù)據(jù)流處理任務(wù)調(diào)度系統(tǒng).pdf

1、車輛在線監(jiān)管是指通過視頻識別攝像頭、GPS車輛定位裝置、RFID車牌[5]等先進(jìn)的前端車輛動態(tài)信息感知技術(shù)，集中匯集整個城市范圍的車輛實時監(jiān)測數(shù)據(jù)。城市級別的道路車輛與停車場車輛的監(jiān)管，包括違章嫌疑車輛自動識別、車輛實時布控預(yù)警、特定車輛跟蹤分析、實時交通路況及交通流信息服務(wù)、出行誘導(dǎo)及停車誘導(dǎo)服務(wù)、城市車輛綜合分析等全方位的交通業(yè)務(wù)功能。同時，它還可為其它相關(guān)部門（如市政、環(huán)衛(wèi)、公交等）提供實時車輛數(shù)據(jù)的共享服務(wù)，從而為解決大中型城市

2、在機(jī)動車輛激增情況下所產(chǎn)生交通、治安、環(huán)境乃至更多的社會問題提供有效的應(yīng)對手段。
　　為了滿足車輛在線監(jiān)管中提出的大規(guī)模車輛監(jiān)測數(shù)據(jù)流的多樣化實時處理需求，一方面需要采用分布式的并行計算架構(gòu)來提升大規(guī)模車輛監(jiān)測數(shù)據(jù)處理性能，另一方面還需為諸多不同的流式車輛監(jiān)測數(shù)據(jù)處理任務(wù)提供有效的管理和運(yùn)行支撐，以保障車輛監(jiān)測數(shù)據(jù)處理任務(wù)高效性和可靠性。上述需求對并行計算架構(gòu)下不同計算節(jié)點(diǎn)間的車輛監(jiān)測數(shù)據(jù)處理任務(wù)的調(diào)度提出了較高的挑戰(zhàn)，要求靈活、

3、高效地實現(xiàn)任務(wù)調(diào)度，同時保障任務(wù)調(diào)度系統(tǒng)的擴(kuò)展性和可用性。針對這一挑戰(zhàn)，本文提出了一種大規(guī)模數(shù)據(jù)流處理任務(wù)調(diào)度方法，并設(shè)計與實現(xiàn)了相應(yīng)的大規(guī)模數(shù)據(jù)流處理任務(wù)調(diào)度系統(tǒng)。本文的主要貢獻(xiàn)如下:
　　(1)針對大規(guī)模數(shù)據(jù)流處理任務(wù)調(diào)度系統(tǒng)可擴(kuò)展的需求，設(shè)計了一種分布式層次式調(diào)度結(jié)構(gòu)。該結(jié)構(gòu)采用了分散調(diào)度負(fù)載的研究思路。實驗表明，本文提出的調(diào)度方法處理性能在計算需求范圍內(nèi)隨調(diào)度節(jié)點(diǎn)數(shù)量的增加而接近線性增長。
　　(2)針對大規(guī)模數(shù)據(jù)流

4、處理任務(wù)調(diào)度系統(tǒng)靈活高效的需求，在層次式調(diào)度結(jié)構(gòu)基礎(chǔ)上，提出了一種動靜結(jié)合的大規(guī)模數(shù)據(jù)流處理任務(wù)調(diào)度的方法。實驗表明，本文提出的調(diào)度方法使得調(diào)度結(jié)果隨計算節(jié)點(diǎn)數(shù)量的變化而變化，且在調(diào)度節(jié)點(diǎn)沒有冗余的情況下，對系統(tǒng)實時性的影響可忽略。
　　(3)面對車輛在線監(jiān)管系統(tǒng)高可用的需求，設(shè)計了一個分布式集群協(xié)調(diào)器。該協(xié)調(diào)器基于開源工具ZooKeeper開發(fā)，為集群的可擴(kuò)展性、可用性提供保障，也為任務(wù)的調(diào)度提供支撐。在此基礎(chǔ)上，實現(xiàn)了一個集群