中文地名數據清洗技術及其工程應用研究.pdf

1、分類號UDC密級學號10110004博士學位論文博士學位論文中文地名數據清洗技術及其中文地名數據清洗技術及其工程應用研究工程應用研究葉鷗學科名稱：工業(yè)工程工業(yè)工程學科門類：工科指導教師：張璟申請日期：2013年10月中文地名數據清洗技術及其工程應用研究葉鷗摘要本研究得到以下項目的資助：國家“863”高技術研究發(fā)展計劃基金（No.2007AA010305）國家自然基金項目：面向室內復雜環(huán)境的RFID定位方法研究（No.61172018）陜

2、西水利科技計劃項目基金I論文題目論文題目：中文地名數據清洗技術及其工程應用研究中文地名數據清洗技術及其工程應用研究學科學科名稱名稱：工業(yè)工程工業(yè)工程研究生：葉鷗葉鷗簽名：指導教師指導教師：張璟張璟教授教授簽名：摘要隨著科學技術進步與信息技術發(fā)展，各行各業(yè)中不同類型的信息系統(tǒng)（例如協(xié)同設計與制造系統(tǒng)、客戶關系管理系統(tǒng)、企業(yè)資源規(guī)劃系統(tǒng)、供水工程信息系統(tǒng)等）應用日益廣泛。在這些信息系統(tǒng)的應用過程中，積累了大量來源不同、類型各異的數據，并且數

3、據規(guī)模隨著信息系統(tǒng)應用的深入而不斷增大。在大量數據中，可能存在輸入錯誤、不合理以及重復的數據。這些異常數據嚴重影響數據質量與信息系統(tǒng)的正常運行，降低了數據處理和分析的效率，甚至可能影響到企業(yè)的決策方向，給企業(yè)帶來一定的經濟損失。為了保障信息系統(tǒng)的正常運行，減少異常數據對企業(yè)的負面影響，必須進行數據清洗，提高信息系統(tǒng)的數據質量。地名數據是信息系統(tǒng)中常見的一類基礎數據，在制造業(yè)、金融、水利等領域信息系統(tǒng)中起著重要作用。由于中文地名數據具有描

4、述方法靈活、語義變化多樣等特性，已有的數據清洗技術較難適用于中文地名數據的清洗工作，并且檢測結果的全面性和準確度都有待提高。進行中文地名數據清洗，提高中文地名數據的質量問題已成為數據清洗領域的一個研究重點。本文從數據糾錯、字段匹配、相似重復記錄檢測和孤立點檢測方面，對中文地名數據清洗的關鍵技術進行了深入研究。主要研究工作與創(chuàng)新點如下：1.為提高中文地名數據糾錯的查準率，提出了一種基于地名索引表的清洗框架和雙向地名糾錯方法，用于數據源中準

5、確檢索和糾正錯誤的中文地名數據?；诘孛饕淼那逑纯蚣苡蓴祿斎搿祿?guī)格化、模式層數據檢測、實例層數據檢測與清洗以及數據輸出五個部分組成?；谠摽蚣苁紫葘χ形牡孛麛祿M行數據規(guī)格化，然后從模式層和實例層兩個層次對中文地名數據進行檢測。在實例層的檢測方面，針對中文地名數據中出現的同音字“真詞錯誤”問題，采用已有的拼音檢測方法，將測試數據與中文地名標準數據進行匹配，進而對含有同音字的中文地名數據進行糾錯。雙向地名糾錯算法主要用于解決“非