RFID交通數(shù)據(jù)清洗技術(shù)體系研究.pdf

1、交通數(shù)據(jù)的采集和處理技術(shù)是智能交通系統(tǒng)的關(guān)鍵性技術(shù)，無線電和計算機技術(shù)的蓬勃發(fā)展使得RFID(Radio Frequency Identification)檢測技術(shù)作為一種新型檢測技術(shù)廣泛應(yīng)用于道路交通數(shù)據(jù)采集。但是，由于RFID檢測設(shè)備故障、通信系統(tǒng)故障及環(huán)境因素等異常原因，采集到的交通數(shù)據(jù)存在冗余、遺漏、錯誤和不精確等問題，如果將這些有質(zhì)量問題的數(shù)據(jù)直接應(yīng)用于交通狀態(tài)估計、預(yù)測及評價，必然會產(chǎn)生不穩(wěn)定因素，影響交通狀態(tài)估計、預(yù)測及評

2、價的效果，并進一步影響交通管理和公眾出行信息服務(wù)的質(zhì)量，因此十分有必要對RFID交通數(shù)據(jù)進行清洗，清除異常數(shù)據(jù)?；谏鲜鰡栴}，本文對RFID交通數(shù)據(jù)清洗技術(shù)進行研究，主要研究內(nèi)容如下。
　　首先，在數(shù)據(jù)清洗文獻研究的基礎(chǔ)上，介紹了RFID技術(shù)基礎(chǔ)，研究了RFID系統(tǒng)組成、數(shù)據(jù)采集系統(tǒng)的工作原理、RFID采集平臺的架構(gòu)以及RFID采集系統(tǒng)的邏輯框架和物理框架，并介紹了南京市RFID數(shù)據(jù)概況，確定了實例分析中所用的數(shù)據(jù)采集區(qū)域，數(shù)據(jù)量

3、和數(shù)據(jù)的屬性與結(jié)構(gòu)，這為分析數(shù)據(jù)問題產(chǎn)生的原因并提出相應(yīng)的解決辦法提供了很大幫助。
　　其次，介紹了RFID錯誤數(shù)據(jù)清洗，錯誤數(shù)據(jù)檢測和處理主要是針對車牌號碼，根據(jù)車牌號碼的編排規(guī)則歸納出采集數(shù)據(jù)中的四類車牌錯誤，利用聚類法檢測出錯誤數(shù)據(jù)，統(tǒng)計錯誤數(shù)據(jù)的數(shù)量，計算錯誤率，分析錯誤數(shù)據(jù)的時空變化規(guī)律。
　　接著，介紹了RFID冗余數(shù)據(jù)清洗，冗余數(shù)據(jù)分為重復(fù)數(shù)據(jù)和相似數(shù)據(jù)，冗余數(shù)據(jù)檢測和處理主要針對過車時間和車牌號碼兩個屬性，利

4、用排序?qū)Ρ鹊姆椒z測出冗余數(shù)據(jù)，統(tǒng)計車牌號碼相同的車輛過車時間分別相差1s-300s的數(shù)據(jù)量，計算冗余率，做出折線圖，將冗余率趨于平緩的點對應(yīng)的時間確定為冗余時間點，對于冗余時間點內(nèi)的數(shù)據(jù)，保留第一條數(shù)據(jù)，刪除其余數(shù)據(jù)，對于冗余時間點以外的數(shù)據(jù)，保留數(shù)據(jù)，不刪除。
　　再次，介紹了RFID缺失數(shù)據(jù)清洗，缺失數(shù)據(jù)檢測和處理主要是針對過車時間，根據(jù)統(tǒng)計缺失數(shù)據(jù)的時間匯集度的長短可分為月缺失量、日缺失量、小時缺失量等，分別計算基站的月、

5、日、小時、30min、15min、10min、5min、1min缺失率，根據(jù)缺失率隨時間的變化趨勢確定基站的缺失率。
　　另外，基于以上分析思路、分析方法、分析流程，論文歸納總結(jié)了RFID原始交通數(shù)據(jù)清洗中可能出現(xiàn)的共性問題，提出一種較為通用的RFID交通數(shù)據(jù)清洗方法，包括數(shù)據(jù)問題分類、數(shù)據(jù)問題檢測、數(shù)據(jù)問題分析和數(shù)據(jù)問題處理，建立一套完整的RFID交通數(shù)據(jù)清洗技術(shù)體系。
　　數(shù)據(jù)清洗是開展相關(guān)數(shù)據(jù)研究、應(yīng)用的首要工作，其重