基于預(yù)處理技術(shù)的數(shù)據(jù)清理系統(tǒng)研究與實現(xiàn).pdf

1、隨著信息化工程的不斷深入，許多企業(yè)在長期的運營過程中積累大量數(shù)據(jù)，這些數(shù)據(jù)能夠反映企業(yè)生產(chǎn)經(jīng)營過程中的規(guī)律。建立決策支持系統(tǒng)是利用已有數(shù)據(jù)的應(yīng)用服務(wù)之一，但是基于劣質(zhì)數(shù)據(jù)的決策是不可信的。糾正數(shù)據(jù)錯誤是避免錯誤決策、降低決策風(fēng)險的重要一環(huán)，數(shù)據(jù)清理應(yīng)運而生。 本文深入研究數(shù)據(jù)預(yù)處理技術(shù)和數(shù)據(jù)清理技術(shù)。數(shù)據(jù)預(yù)處理技術(shù)分別針對數(shù)值型字段和字符型字段研究了孤立點的檢測和縮寫的發(fā)現(xiàn)；數(shù)據(jù)清理技術(shù)研究相似重復(fù)記錄的清理。孤立點的檢測使用一

2、種基于鄰域局部修剪的算法，利用垂直的數(shù)據(jù)結(jié)構(gòu)—P-樹實現(xiàn)算法，保證算法的有效性和高效率，并對算法做出改進，提高算法的適用性。在縮寫發(fā)現(xiàn)技術(shù)中，重點研究基于動態(tài)規(guī)劃的縮寫發(fā)現(xiàn)算法，該算法不僅能處理西文字符而且能有效地發(fā)現(xiàn)中文縮寫形式，改進后的算法具有較高的效率和較好的健壯性。數(shù)據(jù)清理部分對于相似重復(fù)記錄的清理，分別研究英文、中文記錄排序算法，不同類型字段的相似度計算方法，記錄相似度計算方法以及相似重復(fù)記錄的合并規(guī)則，并對以上相似重復(fù)記錄清