基于Hadoop的出租車數(shù)據(jù)質(zhì)量分析與處理.pdf

1、深圳市通過(guò)智能交通系統(tǒng)（Intelligent Transportation System，ITS）建設(shè)，建立了智能交通公用信息平臺(tái)，信息平臺(tái)每天采集到海量的交通數(shù)據(jù)，這些數(shù)據(jù)蘊(yùn)含著豐富的交通信息。高質(zhì)量的交通數(shù)據(jù)是ITS做出正確決策的保證，然而，實(shí)際的交通數(shù)據(jù)采集過(guò)程中，由于設(shè)備故障、外界環(huán)境干擾、人為操作失誤等多種因素的影響使得獲取的原始數(shù)據(jù)不可避免地存在丟失、冗余等質(zhì)量問(wèn)題。本文結(jié)合項(xiàng)目需求，采用基于Hadoop搭建的云計(jì)算平臺(tái)對(duì)

2、深圳市海量出租車數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量分析，并面向數(shù)據(jù)質(zhì)量進(jìn)行數(shù)據(jù)處理，主要工作包括以下幾個(gè)方面：
　?。?）研究國(guó)內(nèi)外學(xué)者數(shù)據(jù)質(zhì)量評(píng)估和數(shù)據(jù)清洗方面取得的成果與不足，并在此基礎(chǔ)上引出本文的研究?jī)?nèi)容。
　?。?）根據(jù)項(xiàng)目需求設(shè)計(jì)了基于決策學(xué)中層次分析法結(jié)合歷史數(shù)據(jù)的評(píng)價(jià)體系，利用層次分析法計(jì)算評(píng)價(jià)指標(biāo)權(quán)值并以歷史數(shù)據(jù)的期望為基準(zhǔn)得到數(shù)據(jù)質(zhì)量分?jǐn)?shù)，將數(shù)據(jù)質(zhì)量問(wèn)題量化，直觀的反映數(shù)據(jù)質(zhì)量狀況。
　?。?）針對(duì)深圳市出租車數(shù)據(jù)特征

3、提出了GPS數(shù)據(jù)和營(yíng)運(yùn)數(shù)據(jù)質(zhì)量評(píng)價(jià)方案，首先找到影響數(shù)據(jù)質(zhì)量的主要因素，確定各自的評(píng)價(jià)指標(biāo)，然后針對(duì)數(shù)據(jù)集中存在的冗余、不完整和錯(cuò)誤數(shù)據(jù)，提出相應(yīng)的評(píng)價(jià)規(guī)則算法判斷是否符合條件。
　?。?）面向深圳市出租車數(shù)據(jù)質(zhì)量分析結(jié)果，提高數(shù)據(jù)質(zhì)量。重點(diǎn)研究了重復(fù)數(shù)據(jù)清洗技術(shù)，提出了基于 MapReduce的分塊去重算法刪除重復(fù)數(shù)據(jù)。然后分別對(duì)GPS數(shù)據(jù)和營(yíng)運(yùn)數(shù)據(jù)提出了基于Hadoop平臺(tái)的出租車數(shù)據(jù)清洗方案，數(shù)據(jù)清洗方案主要針對(duì)數(shù)據(jù)不完整、

4、冗余和錯(cuò)誤的質(zhì)量問(wèn)題，將傳統(tǒng)的清洗技術(shù)遷移到云平臺(tái)。
　　（5）將清洗后高質(zhì)量的 GPS數(shù)據(jù)應(yīng)用于出租車?？奎c(diǎn)研究，提出了基于DBSCAN的?？奎c(diǎn)檢測(cè)算法，從非載客的軌跡數(shù)據(jù)中找到出租車?？奎c(diǎn)，檢測(cè)算法主要分為三個(gè)步驟：候選點(diǎn)獲取，候選點(diǎn)過(guò)濾和停靠點(diǎn)候選點(diǎn)聚類。候選點(diǎn)的獲取是根據(jù)候選點(diǎn)檢測(cè)算法，然后利用時(shí)間和空間屬性對(duì)候選點(diǎn)過(guò)濾，最后分析各種聚類算法優(yōu)缺點(diǎn)，選擇DBSCAN聚類算法進(jìn)行?？奎c(diǎn)聚類。
　　通過(guò)建立的數(shù)據(jù)質(zhì)量評(píng)價(jià)