RFID交通數據清洗技術體系研究.pdf

1、交通數據的采集和處理技術是智能交通系統(tǒng)的關鍵性技術，無線電和計算機技術的蓬勃發(fā)展使得RFID(Radio Frequency Identification)檢測技術作為一種新型檢測技術廣泛應用于道路交通數據采集。但是，由于RFID檢測設備故障、通信系統(tǒng)故障及環(huán)境因素等異常原因，采集到的交通數據存在冗余、遺漏、錯誤和不精確等問題，如果將這些有質量問題的數據直接應用于交通狀態(tài)估計、預測及評價，必然會產生不穩(wěn)定因素，影響交通狀態(tài)估計、預測及評

2、價的效果，并進一步影響交通管理和公眾出行信息服務的質量，因此十分有必要對RFID交通數據進行清洗，清除異常數據?；谏鲜鰡栴}，本文對RFID交通數據清洗技術進行研究，主要研究內容如下。
　　首先，在數據清洗文獻研究的基礎上，介紹了RFID技術基礎，研究了RFID系統(tǒng)組成、數據采集系統(tǒng)的工作原理、RFID采集平臺的架構以及RFID采集系統(tǒng)的邏輯框架和物理框架，并介紹了南京市RFID數據概況，確定了實例分析中所用的數據采集區(qū)域，數據量

3、和數據的屬性與結構，這為分析數據問題產生的原因并提出相應的解決辦法提供了很大幫助。
　　其次，介紹了RFID錯誤數據清洗，錯誤數據檢測和處理主要是針對車牌號碼，根據車牌號碼的編排規(guī)則歸納出采集數據中的四類車牌錯誤，利用聚類法檢測出錯誤數據，統(tǒng)計錯誤數據的數量，計算錯誤率，分析錯誤數據的時空變化規(guī)律。
　　接著，介紹了RFID冗余數據清洗，冗余數據分為重復數據和相似數據，冗余數據檢測和處理主要針對過車時間和車牌號碼兩個屬性，利

4、用排序對比的方法檢測出冗余數據，統(tǒng)計車牌號碼相同的車輛過車時間分別相差1s-300s的數據量，計算冗余率，做出折線圖，將冗余率趨于平緩的點對應的時間確定為冗余時間點，對于冗余時間點內的數據，保留第一條數據，刪除其余數據，對于冗余時間點以外的數據，保留數據，不刪除。
　　再次，介紹了RFID缺失數據清洗，缺失數據檢測和處理主要是針對過車時間，根據統(tǒng)計缺失數據的時間匯集度的長短可分為月缺失量、日缺失量、小時缺失量等，分別計算基站的月、

5、日、小時、30min、15min、10min、5min、1min缺失率，根據缺失率隨時間的變化趨勢確定基站的缺失率。
　　另外，基于以上分析思路、分析方法、分析流程，論文歸納總結了RFID原始交通數據清洗中可能出現的共性問題，提出一種較為通用的RFID交通數據清洗方法，包括數據問題分類、數據問題檢測、數據問題分析和數據問題處理，建立一套完整的RFID交通數據清洗技術體系。
　　數據清洗是開展相關數據研究、應用的首要工作，其重