數(shù)據(jù)預(yù)處理方法在移動通信企業(yè)的應(yīng)用研究.pdf

1、現(xiàn)實(shí)世界的數(shù)據(jù)往往是不完整，不一致和有噪音的，致使我們在進(jìn)行數(shù)據(jù)挖掘之前必須進(jìn)行一定的數(shù)據(jù)預(yù)處理工作。數(shù)據(jù)預(yù)處理的主要內(nèi)容包括：數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約。本文是在系統(tǒng)分析總結(jié)數(shù)據(jù)預(yù)處理各種方法的前提下，針對某移動通信公司離網(wǎng)用戶數(shù)據(jù)共有70多張表，400多個屬性，最高缺失率為28.3％，含記錄最多的表有200多萬條的特點(diǎn)，選用了數(shù)據(jù)預(yù)處理中的10余種方法對數(shù)據(jù)進(jìn)行預(yù)處理的過程。
　　 本文的主要工作如下：
　

2、　 (1)文中首先提出了數(shù)據(jù)質(zhì)量問題的概念，并對各種數(shù)據(jù)質(zhì)量問題對應(yīng)的數(shù)據(jù)預(yù)處理方法進(jìn)行了總結(jié)。
　　 (2)針對28.3％的數(shù)據(jù)缺失情況，放棄簡單刪除的傳統(tǒng)做法。提出采用數(shù)據(jù)插補(bǔ)方法，并對各類數(shù)據(jù)插補(bǔ)方法進(jìn)行對比分析，最終選取多重插補(bǔ)算法。由于應(yīng)用插補(bǔ)的數(shù)據(jù)有683715條，屬于大規(guī)模數(shù)據(jù)，為了保證插補(bǔ)效果，我們先通過小樣本實(shí)驗(yàn)的方法，在比較插補(bǔ)效果后，確定了最佳插補(bǔ)次數(shù)，最終完成插補(bǔ)過程。得到了完整的并且近似真實(shí)的數(shù)據(jù)集。