面向數(shù)據(jù)挖掘的數(shù)據(jù)預處理系統(tǒng)設計與實現(xiàn).pdf

1、企業(yè)信息化的高速發(fā)展使得各企業(yè)都積累了大量的數(shù)據(jù)，他們都在絞盡腦汁的試圖將這些數(shù)據(jù)應用到自身發(fā)展的決策中.數(shù)據(jù)挖掘的目的是從大量數(shù)據(jù)中提取隱含的同時又是極為有用的信息，使數(shù)據(jù)得到有效的利用.然而，由于數(shù)據(jù)庫架構設計不合理，數(shù)據(jù)管理維護不當，數(shù)據(jù)采集或錄入的錯誤和一些其他原因等，導致數(shù)據(jù)中難免會存在一些問題．此外，企業(yè)與企業(yè)間的數(shù)據(jù)交流也產生了大量的數(shù)據(jù)質量問題．這些問題很大程度上影響著數(shù)據(jù)挖掘的成?。虼耍褂脭?shù)據(jù)預處理技術改善數(shù)據(jù)的質

2、量顯得尤為重要．
　　 本文首先介紹了數(shù)據(jù)預處理的相關理論知識，按照一般文獻中對數(shù)據(jù)預處理的任務劃分對數(shù)據(jù)預處理的各個部分進行了理論上的概述.
　　 其次，根據(jù)數(shù)據(jù)預處理中的基本任務結合實際應用和研究情況將數(shù)據(jù)預處理重新分為了質量檢查、數(shù)據(jù)清理、屬性變換、實例變換、屬性選擇和實例檢測六個部分．進而以此為架構設計并實現(xiàn)了一套面向數(shù)據(jù)挖掘的數(shù)據(jù)預處理系統(tǒng)，該系統(tǒng)包括數(shù)據(jù)格式轉換子系統(tǒng)和預處理算法實現(xiàn)環(huán)境子系統(tǒng)兩部分：

3、　　 (1)數(shù)據(jù)格式轉換子系統(tǒng)能夠連接各種數(shù)據(jù)源，包括數(shù)據(jù)庫或者平面文件等，實現(xiàn)對數(shù)據(jù)源的統(tǒng)一瀏覽、操作以及相互間的格式轉換．
　　 (2)預處理算法實現(xiàn)環(huán)境子系統(tǒng)主要功能有數(shù)據(jù)質量的檢查，缺損值的填充，數(shù)據(jù)的規(guī)范化，噪音數(shù)據(jù)的平滑以及重復記錄的檢測．
　　 最后，本文還對重復記錄檢測問題所涉及的屬性相似度、記錄間的比較策略和重復記錄的識別策略進行了詳細分析與深入研究，并針對記錄集合的分塊策略中的后綴數(shù)組分塊策略無法解