面向海量交通信息流的分布式序列模式挖掘研究.pdf

1、近年來(lái)，隨著我國(guó)經(jīng)濟(jì)建設(shè)持續(xù)不斷的高速發(fā)展和人們生活水平的不斷提高，城市機(jī)動(dòng)車保有量連年持續(xù)增長(zhǎng)，機(jī)動(dòng)車已成為各城鎮(zhèn)居民出行的主要交通工具之一。但與此同時(shí)，利用機(jī)動(dòng)車進(jìn)行的違法犯罪活動(dòng)也越來(lái)越多，如：機(jī)動(dòng)車假牌假證、機(jī)動(dòng)車伴隨、機(jī)動(dòng)車違章逃逸及盜搶等。由于涉案機(jī)動(dòng)車輛往往具有靈活、隱蔽性強(qiáng)、機(jī)動(dòng)性高等特點(diǎn)，這給公安交警部門對(duì)犯罪嫌疑車輛的偵查和追蹤增大了難題。目前，隨著道路監(jiān)控技術(shù)的發(fā)展，我國(guó)各大城市普遍布設(shè)了車牌識(shí)別監(jiān)控點(diǎn)，其不斷積累

2、的交通信息流過(guò)車記錄為涉案車輛的檢測(cè)、追蹤或預(yù)測(cè)預(yù)警提供了有效的數(shù)據(jù)支持。序列模式挖掘作為數(shù)據(jù)挖掘的一個(gè)重要研究領(lǐng)域，可用于分析和挖掘帶時(shí)間特征的交通信息流中隱藏的有價(jià)值模式，從而為社會(huì)有關(guān)部門提供更好的決策與服務(wù)。然而，由于交通信息流數(shù)據(jù)量的不斷增大，傳統(tǒng)的序列模式挖掘算法在數(shù)據(jù)存儲(chǔ)空間和處理效率上已無(wú)法滿足實(shí)際應(yīng)用需求，分布式計(jì)算平臺(tái)的出現(xiàn)解決了海量數(shù)據(jù)的存儲(chǔ)和計(jì)算瓶頸，從而使針對(duì)海量交通信息流的序列模式挖掘成為可能。
　　H

3、adoop作為一個(gè)方便、快速的分布式計(jì)算平臺(tái)，利用分布式文件系統(tǒng)HDFS實(shí)現(xiàn)了對(duì)大文件或超大文件的存儲(chǔ)和容錯(cuò)，并使用MapRedcue編程模型實(shí)現(xiàn)了快速運(yùn)算。但是，由于傳統(tǒng)的序列模式挖掘算法只適用于對(duì)集中存儲(chǔ)的數(shù)據(jù)進(jìn)行分析處理，因此如何設(shè)計(jì)適合在Hadoop平臺(tái)上運(yùn)行的分布式序列模式挖掘算法是有效實(shí)現(xiàn)海量數(shù)據(jù)處理的關(guān)鍵。針對(duì)分布式平臺(tái)特性，深入研究序列模式挖掘的具體實(shí)現(xiàn)步驟并盡可能增大算法并行化實(shí)現(xiàn)部分，有利于提高海量數(shù)據(jù)的序列模式挖掘

4、效率。本文將基于Hadoop的分布式序列模式挖掘與針對(duì)交通信息流領(lǐng)域的實(shí)際應(yīng)用相結(jié)合，利用Hadoop分布式平臺(tái)的優(yōu)勢(shì)來(lái)解決傳統(tǒng)序列模式挖掘在海量數(shù)據(jù)處理上的不足。
　　首先，本文詳細(xì)介紹了分布式文件系統(tǒng)HDFS的存儲(chǔ)設(shè)計(jì)原理及文件讀寫(xiě)流程，并據(jù)此實(shí)現(xiàn)了交通信息流的數(shù)據(jù)預(yù)處理。通過(guò)對(duì)過(guò)車記錄數(shù)據(jù)進(jìn)行有效的清理、轉(zhuǎn)換和歸約，實(shí)現(xiàn)了其從傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)到分布式文件系統(tǒng)HDFS中的轉(zhuǎn)移與轉(zhuǎn)換，以方便后續(xù)的分布式序列模式挖掘。
　　

5、然后，本文剖析了MapReduce編程模式的運(yùn)行機(jī)制，給出了序列模式挖掘相關(guān)概念在交通信息流中的新定義，并設(shè)計(jì)了基于MapReduce的交通信息流分布式序列模式挖掘算法。本文給出了算法的詳細(xì)實(shí)現(xiàn)過(guò)程及算法優(yōu)缺點(diǎn)，并針對(duì)該算法挖掘結(jié)果的局限性，結(jié)合閉合序列模式挖掘的BIDE算法，實(shí)現(xiàn)了BIDE算法的并行化及到Hadoop分布式平臺(tái)的有效移植，從而滿足更完整、更全面的應(yīng)用需求。
　　最后，本文搭建了Hadoop集群實(shí)驗(yàn)環(huán)境，并將相關(guān)算